용어정규화 (Term Normalization)

한 줄 정의: 동일한 개념을 나타내는 서로 다른 표기 형태, 즉 철자 변이, 약어, 복수형 등을 하나의 표준 형태로 통일하는 처리 과정으로, 통제어휘 관리와 검색시스템 색인 처리 모두에서 필요한 절차이다.

쉽게 풀면

같은 뜻인데 표기가 다른 단어들을 하나의 표준 형태로 통일하는 작업이다. "e-mail", "email", "이메일"처럼 같은 것을 가리키는 표기가 여러 개 있을 때, 검색시스템이 헷갈리지 않도록 대표 표기 하나로 맞춰주는 일이라고 보면 된다. 사람은 이 표기들이 같은 뜻임을 쉽게 알아채지만, 컴퓨터는 정해준 규칙이 없으면 서로 다른 단어로 취급해 버린다.

왜 중요한가

철자 변이, 약어, 복수형 등 다양한 표기 형태를 하나의 표준 형태로 통일하는 처리로, 통제어휘 관리와 검색시스템 색인 처리 양쪽에서 검색 누락을 방지하는 데 필요한 절차로 다뤄집니다. 검색엔진이 이용자가 입력한 다양한 표기를 놓치지 않고 관련 문헌을 찾아주도록 뒷받침하여, 정보검색 성능 향상 연구와 자연어처리 전처리 연구에서 기본 절차로 다뤄집니다.

논문에서는 이렇게 쓰입니다

본 연구는 용어정규화 규칙을 적용해 색인어의 철자 변이로 인한 검색 누락 문제를 크게 줄였다고 보고하였다.

용어정규화가 철자 변이로 인한 검색 누락 문제를 줄이는 데 기여했다는 결과를 설명한 문장이다.

이 연구는 어간추출과 표제어추출을 결합한 용어정규화 방식이 단순 어간추출보다 검색 정밀도가 높았다고 분석하였다.

두 가지 정규화 기법을 함께 쓰는 방식이 단일 기법보다 더 정밀한 검색 결과를 낳았다는 분석을 설명한 문장이다.

조금 더 깊게 보면

정규화 규칙이 지나치게 공격적으로 적용되면 서로 다른 의미를 지닌 용어가 잘못 통합되는 위험이 있어, 정규화 대상과 방식은 언어와 도메인의 특성을 고려해 신중하게 설계되어야 합니다. 흔히 쓰이는 기법으로는 어간추출(단어의 어미를 잘라내는 방식)과 표제어추출(사전 기본형으로 되돌리는 방식)이 있으며, 두 방식은 처리 속도와 정확도 사이에서 서로 다른 장단점을 가진다.

주의할 점

용어정규화는 언어별 형태론적 특성에 따라 규칙이 달라지므로, 한 언어에서 검증된 정규화 규칙을 다른 언어에 그대로 적용하면 오류가 발생할 수 있다는 점에 유의해야 한다. 지나친 정규화는 "은행"과 "은행나무"처럼 서로 다른 뜻의 단어를 하나로 뭉뚱그릴 위험도 있어 주의가 필요하다.