불용어 (Stopword)

문헌정보학

한 줄 정의: 조사, 관사, 접속사 등 검색에 있어 변별력이 낮아 색인 대상에서 제외하는 고빈도 기능어로, 색인 및 검색의 효율성을 높이기 위해 불용어 목록(stopword list)에 등재된 단어들을 색인 단계에서 제거하는 데 사용된다.

쉽게 풀면

'그리고', '의', '을/를'처럼 거의 모든 문서에 등장해서 검색에 별 도움이 안 되는 단어를 미리 제외하는 것이다.

왜 중요한가

색인 및 검색 효율성을 높이기 위해 변별력이 낮은 고빈도 기능어를 제외하는 처리로, 검색엔진과 정보검색시스템의 색인 설계에서 표준적으로 다뤄지는 전처리 절차입니다. 불용어 제거는 색인 크기를 크게 줄여 저장 공간과 검색 속도 양쪽에서 이점을 준다. 동일한 검색엔진이라도 언어별로 서로 다른 불용어 목록을 적용해야 각 언어의 문법적 특성을 반영할 수 있다.

논문에서는 이렇게 쓰입니다

색인 효율을 높이기 위해 한국어 조사와 어미를 포함한 불용어 목록을 구축하여 색인 단계에서 제거하였다.

한국어 정보검색 시스템 구축 시 불용어 목록을 만들어 색인 크기를 줄이는 전처리 과정을 설명하는 문장이다.

"동일한 질의어를 불용어 제거 전후로 각각 검색한 결과, 제거 후 색인 크기는 30% 줄었으나 고유명사가 포함된 일부 질의에서는 검색 정확도가 오히려 떨어졌다."

이 문장은 흔한 단어를 빼고 색인을 만들면 저장공간은 줄지만, 그 흔한 단어 자체가 중요한 검색어일 때는 오히려 결과가 나빠질 수 있다는 뜻입니다.

조금 더 깊게 보면

구 검색이나 정확한 표현 검색이 필요한 경우(예: 'The Who'라는 밴드명)에는 불용어 제거가 오히려 검색 실패를 유발할 수 있어, 최근 시스템은 맥락에 따라 불용어 처리를 선택적으로 적용하는 경우가 많습니다. 불용어는 조사나 관사처럼 문서 구별력이 낮은 고빈도 단어를 색인 대상에서 제외해 색인 크기를 줄이고 검색 속도를 높이는 데 쓰인다. 불용어 목록은 언어와 도메인에 따라 다르게 구성되며, 일부 검색시스템은 아예 불용어를 제거하지 않고 색인에 포함시킨 뒤 순위화 단계에서 가중치를 낮추는 방식을 택하기도 한다. 구문검색이나 저작권 문구 검색처럼 정확한 어순이 중요한 경우에는 불용어 제거가 오히려 검색을 방해할 수 있다.

주의할 점

'to be or not to be'처럼 불용어 자체가 검색의 핵심인 질의어에서는 불용어 제거가 오히려 검색 실패를 유발할 수 있다. 고정된 불용어 목록을 그대로 쓰면 특정 검색 맥락에서는 의미를 가지는 단어(예: 고유명사의 일부)까지 제외되어 검색 누락을 일으킬 수 있다는 점에 유의해야 한다.