불용어 (Stopword)
한 줄 정의: 조사, 관사, 접속사 등 검색에 있어 변별력이 낮아 색인 대상에서 제외하는 고빈도 기능어로, 색인 및 검색의 효율성을 높이기 위해 불용어 목록(stopword list)에 등재된 단어들을 색인 단계에서 제거하는 데 사용된다.
쉽게 풀면
'그리고', '의', '을/를'처럼 거의 모든 문서에 등장해서 검색에 별 도움이 안 되는 단어를 미리 제외하는 것이다.
논문에서는 이렇게 쓰입니다
색인 효율을 높이기 위해 한국어 조사와 어미를 포함한 불용어 목록을 구축하여 색인 단계에서 제거하였다.
한국어 정보검색 시스템 구축 시 불용어 목록을 만들어 색인 크기를 줄이는 전처리 과정을 설명하는 문장이다.
주의할 점
'to be or not to be'처럼 불용어 자체가 검색의 핵심인 질의어에서는 불용어 제거가 오히려 검색 실패를 유발할 수 있다.