자동색인 (Automatic Indexing)
쉽게 풀면
사람이 일일이 정하지 않고 컴퓨터가 알아서 문서의 중요한 단어를 뽑아 색인어로 만들어주는 방식이다.
왜 중요한가
대량의 디지털 문헌을 사람이 색인하는 것은 비용상 불가능하므로, 자동색인은 현대 검색시스템의 기본 전제입니다. 자동 부여된 색인어의 품질을 사람 색인과 비교하는 연구는 정보검색 평가의 고전적 주제입니다.
논문에서는 이렇게 쓰입니다
자동색인과 수동색인의 결과를 비교 평가하여 자동색인의 신뢐도를 검증한 연구를 소개하는 문장이다.
일일이 사람이 손으로 색인어를 붙이는 대신, 프로그램이 자동으로 처리해 작업 부담을 줄였다는 뜻이다.
조금 더 깊게 보면
단어 추출 기반 자동색인과 통제어휘를 자동 배정하는 자동 주제색인은 난이도가 크게 다르며, 후자는 분류·기계학습 문제로 접근합니다. 자동색인이 수동색인을 대체한다기보다, 전문(full-text) 검색과 통제어 검색이 공존하는 형태가 일반적입니다. 통계적 자동색인은 단어 빈도와 문헌빈도의 역수를 결합한 TF-IDF 같은 가중치로 대표어를 선정하고, 언어학적 자동색인은 구문 분석과 개체명 인식을 결합해 통제어휘에 매핑하는 방식으로 나뉩니다. 최근에는 사전학습 언어모델을 활용해 문맥을 반영한 색인어를 추출하는 방식이 등장해, 단순 빈도 기반 기법보다 개념적 정확도가 높아지고 있다는 평가가 나온다. 분류기 기반 자동 주제색인은 사람이 이미 색인한 문헌을 학습데이터로 삼아 새 문헌에 동일한 통제어휘를 자동 배정하는 지도학습 방식이어서, 학습데이터의 품질과 양이 결과를 크게 좌우한다.
주의할 점
자동색인은 대량 처리가 가능하다는 장점이 있지만 문맥적 의미나 개념적 중요도를 완벽히 반영하지 못해 수동색인에 비해 정확도가 낮을 수 있다. 자동색인은 문서에 자주 등장하지만 실제로는 부수적인 단어를 중요 단어로 오판할 수 있어, 빈도만으로 중요도를 판단하는 방식의 한계를 항상 염두에 두어야 한다. 최신 언어모델 기반 자동색인도 학습데이터에 없는 신조어나 매우 전문적인 용어는 제대로 인식하지 못할 수 있다.