원문데이터베이스 (Full-Text Database)
쉽게 풀면
글의 요약이나 정보만이 아니라 전체 내용을 다 담아서 찾아볼 수 있게 해주는 데이터베이스이다.
왜 중요한가
원문데이터베이스는 서지정보를 넘어 논문·기사 본문 전체를 제공해 검색과 열람을 한 곳에서 끝낼 수 있게 하며, 본문 단어 검색이 가능해 통제어휘로는 잡히지 않는 주제도 찾을 수 있습니다. 텍스트 마이닝 연구의 원자료 접근도 여기에 의존합니다.
논문에서는 이렇게 쓰입니다
원문데이터베이스의 전체 텍스트를 대상으로 텍스트마이닝을 수행한 연구를 소개하는 문장이다.
검색 대상이 초록에 그치지 않고 본문 전체로 확장된다는 점에서 색인 위주 데이터베이스와 구별됨을 설명한다.
조금 더 깊게 보면
본문 검색은 재현율을 높이지만 우연한 단어 일치로 잡음도 커지므로 서지데이터베이스의 통제어 검색과 상보적으로 쓰는 것이 일반적입니다. 원문 제공 범위가 출판사 계약에 따라 달라 같은 데이터베이스라도 기관마다 열람 가능한 문헌이 다를 수 있습니다. JSTOR나 ScienceDirect 같은 원문데이터베이스는 OCR 처리된 스캔본과 born-digital 텍스트가 혼재해, 전자 색인의 정확도가 자료 생산 시기에 따라 달라질 수 있다. 엠바고 기간이 설정된 최신호는 원문 열람이 지연되는 경우가 많아 최신성과 원문 접근성이 상충하기도 한다.
주의할 점
원문데이터베이스는 저작권 보호 자료를 다수 포함하는 경우가 많아 대량 텍스트마이닝을 위해서는 별도의 라이선스 협의가 필요할 수 있다. 원문데이터베이스의 전문검색 결과 수가 많다고 해서 관련성이 높은 것은 아니며, 우연한 단어 일치로 인한 잡음을 걸러내는 별도의 검색 전략이 필요하다. 스캔본 위주로 구축된 원문데이터베이스는 OCR 오류로 인해 특정 단어의 전문검색 결과가 누락될 수 있다. 대량 텍스트마이닝을 수행하려면 저작권 협의가 별도로 필요할 수 있다는 점도 기억해야 한다. 국내 학술 원문 데이터베이스로는 KISS, DBpia, RISS 등이 있으며, 수록 학술지 범위가 서로 겹치면서도 달라 한 곳만 검색하면 누락이 생긴다.