어휘 유형-토큰 비율 (Type-Token Ratio)
한 줄 정의: 텍스트에 나온 서로 다른 단어 수(유형)를 전체 단어 수(토큰)로 나눈, 어휘 다양성을 나타내는 지표입니다.
쉽게 풀면
"나는 밥을 먹고 나는 물을 마셨다"에서 전체 단어(토큰)는 7개지만 서로 다른 단어(유형)는 "나는"이 겹쳐 6개입니다. 이때 유형-토큰 비율은 6/7입니다. 같은 단어를 반복하지 않고 다양한 단어를 쓸수록 값이 1에 가까워집니다.
왜 중요한가
아동 언어발달, 제2언어 학습자의 작문 수준, 언어장애 평가, 작가 문체 분석 등에서 어휘 다양성을 수치로 비교하는 기본 지표로 쓰입니다. 계산이 간단해 말뭉치 연구 초기 분석에서 흔히 보고됩니다.
논문에서는 이렇게 쓰입니다
"학습자 작문의 어휘 다양성은 텍스트 길이 효과를 통제하기 위해 100단어 단위 표준화 유형-토큰 비율로 산출하였다."
길이 문제를 보정한 형태의 유형-토큰 비율을 사용했음을 밝힌 문장입니다.
조금 더 깊게 보면
유형-토큰 비율의 가장 큰 약점은 텍스트가 길어질수록 이미 나온 단어가 반복되어 값이 자연히 낮아진다는 점입니다. 그래서 길이가 다른 텍스트를 직접 비교하면 안 되며, 일정 길이 단위로 계산해 평균 내는 표준화 TTR, D 지수(vocd-D), MTLD 같은 대안 지표가 개발되었습니다. 또 무엇을 한 단어로 셀지(어형, 기본형, 어절) 기준을 먼저 정해야 합니다.
주의할 점
유형-토큰 비율은 "얼마나 다양한 단어를 썼는가"만 보여 줄 뿐, 어휘가 얼마나 어렵거나 정확한지는 알려 주지 않습니다. 약어 TTR은 다른 분야 용어와도 겹치므로 첫 등장 시 풀어 적으세요.