잠재의미분석 (Latent Semantic Analysis (LSA))

문헌정보학

한 줄 정의: 문헌-용어 행렬에 특이값분해(SVD)와 같은 수학적 차원축소 기법을 적용하여, 용어의 표층적 형태가 달라도 잠재된 의미적 유사성을 포착함으로써 동의어·다의어 문제를 완화하는 정보검색 및 텍스트분석 기법이다.

쉽게 풀면

표면적으로 다른 단어라도 뜻이 비슷하면 서로 연관지어 인식할 수 있도록, 수학적으로 데이터를 압축해서 숨은 의미 관계를 찾아내는 기법이다. 표면적으로 다른 단어라도 뜻이 비슷하면 연관지어 인식하게 하는 수학적 기법이다.

왜 중요한가

잠재의미분석은 용어-문서 행렬을 특이값 분해로 축소해 동의어 관계를 간접적으로 포착하는 방법으로, 단어 불일치 문제를 해결하려는 초기 시도이자 이후 분산 표현·임베딩 연구의 선구로 평가됩니다. 소규모 컬렉션의 의미적 유사도 계산에 여전히 쓰입니다.

논문에서는 이렇게 쓰입니다

본 연구는 잠재의미분석을 벡터공간모형에 적용하여 동의어 표현의 차이로 인한 검색 누락 문제를 완화하였다.

잠재의미분석이 벡터공간모형의 동의어 문제를 보완하는 데 활용된 실험 사례를 설명하는 문장이다.

차원을 축소한 잠재의미공간에서 문서 간 유사도를 계산한 연구는 표면적으로 공유 단어가 적은 문서 쌍도 의미적으로 유사하다고 판정되는 사례를 다수 확인하였다.

이러한 결과는 잠재의미분석이 단순한 단어 일치 여부를 넘어, 문서 간의 잠재된 주제적 연관성을 포착할 수 있음을 보여준다.

조금 더 깊게 보면

축소 차원 수 선택에 원리적 기준이 없고 대규모 컬렉션에서는 계산 비용이 커서 실무 검색시스템에는 널리 채택되지 않았습니다. 축소된 차원이 무엇을 뜻하는지 해석이 어렵다는 점에서 확률적 토픽 모형(LDA)이 대안으로 발전했습니다. 특이값분해로 축소된 잠재 차원은 의미상 명확한 이름을 갖지 않는 수학적 축이며, 이 점에서 사람이 상위 단어를 보고 이름을 붙일 수 있는 LDA의 토픽과는 해석 가능성 측면에서 뚜렷이 구분됩니다. LSA로 축소한 차원 수를 지나치게 적게 잡으면 서로 무관한 문서까지 유사하다고 판단하는 과잉 일반화가 발생해, 적정 차원 수 선택이 결과 품질에 직접적인 영향을 준다.

주의할 점

잠재의미분석은 대규모 행렬에 대한 특이값분해 연산이 필요해 계산비용이 크므로 매우 큰 문헌집단에는 적용이 제한적일 수 있다. LSA는 단어 순서를 고려하지 않는 단어주머니(bag-of-words) 방식이어서, 어순이 의미를 크게 바꾸는 문장에서는 미묘한 뉘앙스를 포착하지 못하는 한계가 있다.