토픽모델링 (Topic Modeling)
쉽게 풀면
많은 글 속에 숨어 있는 공통 주제들을 컴퓨터가 통계적으로 자동으로 찾아내는 기법이다. 많은 글 속의 공통 주제를 컴퓨터가 통계적으로 찾아내는 기법이다.
왜 중요한가
대량 문헌집단에서 잠재적 주제를 통계적으로 추출하는 텍스트마이닝 기법으로, 잠재디리클레할당(LDA)이 대표적이며 디지털인문학과 계량서지학에서 대규모 텍스트 컬렉션 분석에 널리 활용됩니다. 연구자가 읽을 수 없는 규모의 방대한 문헌집단에서 숨은 주제 구조를 드러내 준다는 점에서, 디지털 인문학과 대규모 텍스트 아카이브 분석의 표준 도구로 자리잡았다.
논문에서는 이렇게 쓰입니다
토픽모델링을 통해 특정 학문분야 논문의 시기별 주제 변화를 분석한 계량서지학적 연구를 소개하는 문장이다.
사람이 일일이 분류하지 않아도 문서 집합에 내재한 주제 구조를 통계적으로 드러낼 수 있음을 보여줍니다.
조금 더 깊게 보면
추출된 토픽의 의미는 알고리즘이 자동으로 해석해주지 않아 연구자가 상위 단어들을 보고 주관적으로 이름을 붙여야 하므로, 토픽의 해석 타당성에 대한 검증 절차가 함께 필요합니다. LDA 이후 등장한 동적 토픽모델(dynamic topic model)은 시간에 따라 토픽 내 단어 분포가 변화하는 것을 허용해, 특정 개념이 시간이 지나며 어떻게 의미를 달리해 왔는지도 추적할 수 있게 합니다. 토픽모델링은 정답 라벨이 없는 비지도학습 방식이어서, 분류학습과 달리 사전에 사람이 문서를 분류해 둔 학습데이터가 필요 없다는 점이 대량 텍스트 탐색에 유리하다.
주의할 점
토픽모델링에서 추출되는 토픽의 수는 연구자가 사전에 지정해야 하는 경우가 많아, 그 값에 따라 결과 해석이 크게 달라질 수 있음에 유의해야 한다.
토픽 수를 지나치게 적게 설정하면 서로 이질적인 주제가 하나로 뭉뚱그려지고, 반대로 지나치게 많이 설정하면 의미 있는 구분 없이 세분화만 되는 양쪽의 위험이 있다. 짧은 문서(트윗 등)에 토픽모델링을 적용하면 단어 수가 적어 통계적 추정이 불안정해지는 경향이 있어 별도의 보정 기법이 필요하다.