텍스트마이닝 (Text Mining)
쉽게 풀면
컴퓨터 프로그램을 이용해서 아주 많은 양의 텍스트에서 특정 단어의 사용 빈도나 패턴을 자동으로 뽑아내는 기법이다. 사람이 일일이 읽기 어려운 방대한 신문이나 문서 더미에서 의미 있는 경향을 찾아낼 수 있다. 디지털 역사학, 개념사 연구와 결합하여 활용된다.
왜 중요한가
디지털화된 대량의 역사 문헌에서 사람이 일일이 읽기 어려운 규모의 어휘 패턴이나 개념의 시대적 변화를 컴퓨터 알고리즘으로 추출함으로써, 전통적인 정독 방식으로는 발견하기 어려운 거시적 경향을 파악할 수 있게 해주는 디지털 역사학의 새로운 방법론입니다.
OCR로 변환된 옛 신문이나 필사본은 오탈자와 인식 오류가 섞여 있어, 빈도 분석에 앞서 오류 교정과 이체자 통합 같은 전처리 품질이 결과의 신뢰도를 크게 좌우한다. 같은 단어라도 시대에 따라 의미가 달라지는 경우가 많아 단순 빈도 그래프만으로 개념의 실제 쓰임을 판단하면 오독으로 이어질 수 있다.
어떤 절차인가
- 자료 수집: 신문, 사료, 논문 초록, 게시글 등 분석할 텍스트를 모읍니다. 출처와 기간을 기록합니다.
- 전처리: 문장·단어 단위로 나누고(토큰화), 한국어는 형태소 분석으로 어근과 조사를 분리합니다. 불용어를 제거하고 표기를 정리합니다.
- 표현: 문서를 단어 빈도 벡터(문서-단어 행렬)로 나타내고, 단어의 중요도를 TF-IDF 등으로 가중합니다.
- 분석: 빈도 비교, 연관어(연어)와 의미연결망, 토픽 모델링(LDA 등), 감성 분석, 문서 분류 중에서 목적에 맞는 방법을 씁니다.
- 검증과 해석: 결과를 숫자로만 두지 않고 원문 표본을 직접 읽어 확인합니다.
언제 쓰고 무엇을 얻나
- 언제: 사람이 일일이 읽기 어려운 대량 텍스트(수십 년치 신문, 수천 편의 논문 초록)에서 경향과 주제를 보려 할 때 씁니다. 역사학에서는 개념사·디지털 인문학 연구와 결합합니다.
- 얻는 것: 전체 자료의 개관과 가설 발굴입니다. 정독으로 확인할 후보 구간을 좁히는 길잡이 역할도 합니다.
- 한계: 빈도는 의미 변화와 같지 않고(같은 단어가 맥락에 따라 다르게 쓰임), 토픽 이름은 연구자의 해석입니다.
TF-IDF 계산 예(가상의 3문서). d1 = [조약, 개항, 조약, 무역], d2 = [무역, 상인, 시장, 무역], d3 = [시장, 가격, 상인, 시장]입니다. TF = 문서 내 비율, IDF = ln(문서 수 / 단어가 나온 문서 수)로 계산하면 d1의 ‘조약’은 0.5 × ln(3/1) ≈ 0.55이고, 두 문서에 나오는 ‘무역’은 d2에서 0.5 × ln(3/2) ≈ 0.20입니다. 특정 문서에만 나오는 단어에 더 높은 가중치를 주는 것이 TF-IDF의 취지입니다. IDF의 정의(로그 밑, 평활화)는 구현마다 달라 값이 바뀔 수 있습니다.
논문에는 이렇게 적는다
- 자료의 출처, 기간, 규모(문서 수, 총 어휘 수)와 수집 방식을 적습니다.
- 전처리 단계를 밝힙니다: 형태소 분석기 이름과 버전, 불용어 목록, 사용자 사전. 이 선택이 결과를 바꾸므로 본문 설명대로 함께 공개합니다.
- 토픽 모델링은 토픽 수 선택 기준, 반복 실행 시 안정성, 토픽에 붙인 이름의 근거를 적습니다.
- 분석 도구가 만든 그래프를 그대로 논증으로 쓰지 않고, 표본 구성과 원문 확인 절차를 함께 제시합니다.
- 빈도 변화를 개념의 의미 변화와 동일시하지 않고, 같은 단어가 쓰인 용례를 표본으로 뽑아 확인합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“이후 키워드 간 네트워크 분석을 위해 텍스톰(Textom)과 UCINET을 이용하여 세 용어에 대한 텍스트마이닝과 의미연결망 분석을 진행하였다.”
키워드 네트워크 분석 방법을 활용한 블록체인 트렌드 분석에 관한 연구, 한국정보전자통신기술학회 논문지, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗
“본 연구는 텍스트마이닝의 토픽모델링과 연결망 분석을 이용하여, 학회지의 총체적 연구 경향성을 파악하였다는데 의의가 있다.”
토픽모델링과 연결망 분석을 활용한 국내 조경 분야 연구 동향 분석 -한국조경학회지를 대상으로-, 한국조경학회지, 2021 · KCI 한국학술지인용색인 · 원문 보기 ↗
“이 연구에서는 텍스트마이닝 기법을 이용하여 한국 디자인 분야의 어휘 사용 양상을 데이터 기반으로 분석할 수 있을지 그것이 디자인 용어 연구에 유의미한 방식일지 살피고자 했다.”
말뭉치와 텍스트마이닝 기법을 활용한 의 사용 어휘 분석, 디자인학연구, 2020 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
대량 문서에서 특정 어휘의 빈도 변화를 자동으로 추출하는 텍스트마이닝의 활용을 보여준다.
텍스트마이닝이 대규모 문헌 자료의 동향 분석에 활용되는 방식을 보여준다.
조금 더 깊게 보면
텍스트마이닝은 방대한 자료를 다룰 수 있다는 장점이 있지만, 문맥과 뉘앙스를 정교하게 포착하는 데는 여전히 한계가 있어 전통적인 정독 및 사료비판 방법과 상호보완적으로 사용되어야 한다는 것이 일반적인 견해입니다.
어휘 빈도의 변화를 개념 자체의 의미 변화와 곧바로 동일시하면 안 되며, 같은 단어가 다른 맥락에서 쓰인 용례를 표본으로 뽑아 직접 확인하는 절차가 함께 필요하다.
토픽 모델링(LDA)은 문서 집합에서 함께 출현하는 단어 묶음을 통계적으로 추출할 뿐 그 주제의 의미를 알려주지 않으므로, 연구자가 각 토픽에 붙이는 이름 자체가 해석 행위라는 점을 밝혀야 한다. 불용어 목록과 형태소 분석기 선택도 결과를 바꾸므로 함께 공개해야 한다.
주의할 점
텍스트마이닝은 단어의 빈도만으로는 문맥에 따른 의미 차이를 온전히 포착하지 못할 수 있다. 분석 도구가 산출한 결과 그래프를 그대로 논증으로 제시하기보다 그 이면의 표본 구성을 함께 밝혀야 한다.
헷갈리기 쉬운 용어
텍스트 분석 용어의 구분입니다.
| 용어 | 하는 일 | 텍스트마이닝과의 관계 |
|---|---|---|
| 텍스트마이닝 | 대량 텍스트에서 패턴을 자동 추출 | 전체 방법의 이름 |
| 토픽모델링 | 문서 집합에서 단어 묶음(주제)을 통계로 추출 | 텍스트마이닝의 한 기법 |
| 잠재디리클레할당 | 대표적인 토픽모델링 알고리즘 | 토픽모델링의 한 방법 |
| 토큰화 | 텍스트를 단위로 쪼갬 | 전처리 단계 |
| 불용어 | 분석에서 제외하는 흔한 단어 | 전처리 단계 |
| 코퍼스언어학 | 언어 사용의 패턴을 코퍼스로 연구 | 언어학적 질문에 초점 |
참고 문헌
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of Machine Learning Research, 3, 993–1022.
- Hearst, M. A. (1999). Untangling text data mining. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics (pp. 3–10).
- Grimmer, J., & Stewart, B. M. (2013). Text as data: The promise and pitfalls of automatic content analysis methods for political texts. Political Analysis, 21(3), 267–297.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.