잠재디리클레할당 (Latent Dirichlet Allocation (LDA))
쉽게 풀면
문서 하나하나가 여러 주제를 섞어서 만들어졌다고 가정하고, 그 숨은 주제들과 각 주제를 이루는 단어들을 확률적으로 찾아내는 계산 방법이다. 문서가 여러 주제를 섞어 만들어졌다고 보고 숨은 주제를 확률로 찾는 방법이다.
왜 중요한가
LDA는 문헌 집합에서 단어 공출현 패턴을 바탕으로 잠재 토픽을 추출하는 확률 모형으로, 대규모 학술 문헌의 연구 주제 동향 분석과 디지털 인문학의 텍스트 탐색에 표준 도구가 되었습니다. 사람이 읽을 수 없는 규모의 컬렉션에 주제 지도를 제공합니다.
논문에서는 이렇게 쓰입니다
LDA 모형 적용 시 최적 토픽 수를 결정하는 통계적 절차를 설명하는 문장이다.
토픽 수 설정이 모형 결과의 해석 가능성에 직접 영향을 준다는 점을 보여 주는 문장입니다.
조금 더 깊게 보면
토픽 수를 연구자가 미리 정해야 하고 결과가 초기값과 파라미터에 따라 달라지므로 토픽 해석의 재현성과 타당성 검증이 늘 문제가 됩니다. 추출된 '토픽'은 단어 분포일 뿐 인간의 주제 개념과 일치한다는 보장이 없어, 라벨링은 연구자의 해석이라는 점을 명시해야 합니다. LDA는 각 문서가 여러 토픽의 확률적 혼합이라고 가정하는 반면, 이전 모형인 확률적 잠재의미분석(pLSA)은 문서별 토픽 분포에 사전분포를 두지 않아 새 문서에 일반화하기 어렵다는 한계가 있었고, LDA는 디리클레 사전분포를 도입해 이를 해결했습니다. LDA의 결과는 난수 초기값에 따라 매 실행마다 토픽의 순서나 세부 구성이 조금씩 달라질 수 있어, 재현 가능한 연구를 위해서는 난수 시드를 고정해 보고하는 것이 권장된다.
주의할 점
LDA로 추출된 토픽은 통계적 단어 분포에 불과하므로, 그 토픽에 인문학적으로 의미 있는 이름을 붙이는 해석 작업은 연구자의 판단에 의존한다.
LDA를 학습하기 전 불용어 제거나 형태소 분석 같은 전처리 품질이 낮으면, 아무리 정교한 모형을 적용해도 무의미한 토픽이 추출될 수 있다.