표제어화 (Lemmatization)
쉽게 풀면
'went', 'goes', 'going' 같은 단어들을 모두 사전에 실리는 기본형인 'go'로 되돌려 놓는 작업이에요. 활용형이 아무리 달라도 그 뿌리가 되는 표제어로 통일해서 찾아주는 거예요.
왜 중요한가
표제어추출은 어휘 빈도 계산이나 정보검색에서 같은 단어의 여러 활용형을 하나로 묶어 정확한 통계를 내는 데 필수적이며, 단순히 접사만 잘라내는 어간추출(stemming)과 구별되는 정교한 형태 분석 기법으로 전산언어학에서 다뤄집니다.
논문에서는 이렇게 쓰입니다
표제어화가 어휘 빈도 분석의 정확성을 높이는 데 기여하는 방식을 설명하고 있다.
'走る, 走った, 走ります'처럼 여러 활용형으로 흩어져 계산되던 단어들을 표제어추출을 통해 하나로 묶어 세면, 겉보기보다 실제 사용 어휘의 폭이 넓다는 것이 드러난다는 연구 결과를 보여주는 예문이에요.
조금 더 깊게 보면
표제어추출은 형태론적 분석과 사전 정보를 활용해 정확한 기본형을 찾아내는 반면, 어간추출은 규칙 기반으로 접사만 기계적으로 제거하기 때문에 부정확한 형태를 낳을 수 있어, 두 기법의 정확도와 처리 속도 사이의 절충이 자연어처리의 실무적 쟁점입니다. 표제어화는 형태소 분석과 품사 정보를 함께 이용해 문맥에 맞는 원형을 찾는 반면, 어간 추출(stemming)은 규칙적으로 접미사만 잘라내므로 더 빠르지만 실재하지 않는 형태가 생성될 수 있다는 점에서 구분된다. 교착어나 굴절이 풍부한 언어에서는 하나의 표제어에서 파생되는 어형 수가 매우 많아, 표제어화 정확도가 코퍼스 기반 빈도 통계의 신뢰도에 직접적인 영향을 미친다.
주의할 점
표제어추출을 어간추출과 같은 것으로 혼동해서는 안 되며, 표제어추출은 문법적으로 유효한 사전 표제어를 정확히 복원하는 반면 어간추출은 단순 규칙으로 어미만 잘라낸다는 차이를 구분해야 한다. 형태가 같아도 품사가 다르면 표제어가 달라지는 경우가 있어(예: 영어의 leaves가 leaf의 복수형인지 leave의 3인칭 단수형인지), 문맥을 고려하지 않은 표제어화는 오류를 낳을 수 있다.