용어가중치부여 (Term Weighting)
쉽게 풀면
문서 안에서 어떤 단어가 얼마나 중요한지를 숫자로 매기는 방법이다. 한 문서에 "그리고", "것" 같은 단어는 자주 나오지만 별로 중요하지 않은 반면, "미토콘드리아"처럼 드물게 등장하지만 그 문서의 핵심을 짚어주는 단어도 있다. 용어가중치부여는 이렇게 그 문서 안에서는 자주 나오지만 다른 문서들에는 흔하지 않은 단어에 더 높은 점수를 매겨, 그 문서를 대표하는 핵심어를 가려내는 방법이다.
왜 중요한가
색인어의 문헌 대표성을 수치화해 검색 결과 순위화에 반영하는 기법으로, TF-IDF가 대표적이며 벡터공간모형과 확률적 검색모형을 실제로 구현하는 데 핵심적으로 활용됩니다. 검색엔진이 수백만 건의 문헌 중 이용자의 질의와 가장 관련 있는 문헌을 상위에 배치할 수 있도록 뒷받침하는 계산 방식이어서, 정보검색 순위화 알고리즘 연구의 핵심 기반으로 다뤄집니다.
논문에서는 이렇게 쓰입니다
서로 다른 용어가중치부여 함수의 성능을 비교한 정보검색 실험을 소개하는 문장이다.
문헌 길이를 고려하지 않은 가중치 계산이 결과를 왜곡할 수 있다는 문제를 지적한 문장이다.
조금 더 깊게 보면
TF-IDF는 단순하고 계산이 용이하지만 단어 간 의미적 유사성은 반영하지 못한다는 한계가 있어, 최근에는 임베딩 기반의 가중치 부여 방식과 함께 비교되며 논의되는 경우가 많습니다. TF-IDF는 문헌 내 출현빈도(TF)와 컬렉션 내 역문헌빈도(IDF)를 곱해 계산하며, 이를 개선한 BM25는 문헌 길이와 포화 효과까지 함께 고려해 더 정교한 순위를 산출한다.
주의할 점
용어가중치부여 방식에 따라 동일한 문헌집단에서도 검색 순위가 크게 달라질 수 있으므로 도메인 특성에 맞는 가중치 함수 선택이 중요하다. 특정 분야에서 흔히 반복되는 전문용어는 오히려 낮은 가중치를 받을 수 있어, 도메인 특성을 고려하지 않으면 중요한 핵심어가 저평가될 위험이 있다.