벡터공간모형 (Vector Space Model)
쉽게 풀면
문서와 검색어를 공간 속 화살표(벡터)로 나타내고, 두 화살표가 얼마나 비슷한 방향을 가리키는지로 관련성 순위를 매기는 방법이다.
왜 중요한가
문헌과 질의어를 다차원 벡터로 표현해 코사인 유사도로 순위화하는 대표적 정보검색모형으로, Salton의 SMART 시스템에서 발전했으며 이후 다양한 유사도 기반 검색 및 텍스트마이닝 기법의 이론적 토대가 되었습니다. 이 모형은 이후 잠재의미분석이나 임베딩 기반 검색 모형의 개념적 토대가 되었다. 가중치 계산 방식을 조정하면 특정 용어의 중요도를 인위적으로 높이거나 낮추는 튜닝도 가능하다.
논문에서는 이렇게 쓰입니다
벡터공간모형에서 문서-질의 간 유사도 계산에 코사인유사도를 사용해 순위화된 검색결과를 얻는 절차를 설명한 문장이다.
이 문장은 벡터공간모형이 문헌 간 유사성을 기하학적 거리 개념으로 환산해 계산한다는 점을 보여준다.
조금 더 깊게 보면
단어의 순서나 문맥을 반영하지 못하는 단순화된 표현이라는 한계가 있어, 최근에는 이를 보완하는 임베딩 기반 벡터 표현(단어의 의미적 유사성을 반영하는 방식)과 비교되며 논의됩니다. 벡터공간모형은 문서와 질의를 각 용어를 축으로 하는 다차원 공간의 벡터로 표현하고, 코사인 유사도 같은 척도로 둘 사이의 유사성을 계산해 순위를 매긴다. TF-IDF 가중치는 이 모형에서 용어의 중요도를 반영하는 대표적 방법으로, 문서 내 등장 빈도와 전체 컬렉션에서의 희소성을 함께 고려한다. 벡터 간 각도만을 비교하므로 문서 길이 자체의 영향을 어느 정도 상쇄할 수 있다는 것도 이 모형의 장점으로 꼽힌다.
주의할 점
벡터공간모형은 색인어 간의 의미적 관계나 어순을 반영하지 못하는 'bag-of-words' 가정에 기반하므로 동의어·다의어 문제에 취약하다. 용어를 독립된 차원으로 다루어 단어 사이의 의미적 연관성을 반영하지 못한다는 한계가 있어, 동의어 문제는 별도의 처리가 필요하다는 점에 유의해야 한다.