품사 태깅 (Part-of-Speech Tagging)
쉽게 풀면
품사 태깅은 컴퓨터가 문장 속 단어 하나하나를 보고 이것이 명사인지 동사인지 조사인지 자동으로 판별해서 표시를 붙이는 작업입니다. 사람에게는 쉬워 보이지만, 같은 단어라도 문맥에 따라 품사가 달라질 수 있어서('먹다'는 동사이지만 '먹이'는 명사가 되는 등) 컴퓨터에게는 까다로운 과제입니다. 품사 태깅 결과는 이후 구문분석이나 의미 분석 같은 더 복잡한 언어처리 작업의 기초 정보로 쓰입니다.
왜 중요한가
품사 태깅은 구문분석, 개체명 인식, 기계번역 등 대부분의 자연어 처리 파이프라인에서 가장 앞단에 위치하는 기초 작업이기 때문에, 이 단계의 정확도가 후속 작업 전체의 성능에 영향을 미칩니다. 언어별로 품사 체계와 형태 변화 양상이 다르기 때문에 전산언어학뿐 아니라 언어유형론 연구와도 맞닿아 있습니다. 또한 심리언어학에서는 사람이 문장을 읽으며 단어의 품사를 어떻게 실시간으로 판단하는지를 연구할 때 참고 모델로 활용되기도 합니다.
논문에서는 이렇게 쓰입니다
전산언어학 논문에서 텍스트 전처리 및 형태 분석 단계를 설명할 때 사용된다.
한국어와 같은 교착어 처리에서 품사 태깅 단위 설정이 중요하다는 점을 보여주는 예문이다.
심리언어학 분야에서 사람의 실시간 문장 처리 과정을 다루며 품사 판별 개념이 활용된 예문이다.
조금 더 깊게 보면
품사 태깅 기법은 크게 정해진 규칙에 따라 품사를 부여하는 규칙 기반 방식, 은닉 마르코프 모형처럼 통계적으로 가장 그럴듯한 품사열을 찾는 확률 기반 방식, 그리고 최근 널리 쓰이는 신경망 기반 방식으로 나눌 수 있습니다. 성능은 흔히 정확도(accuracy)로 평가되며, 특히 문맥에 따라 품사가 달라지는 중의적인 단어를 얼마나 잘 처리하는지가 모델 간 성능 차이를 가르는 지점이 됩니다. 논문에서는 어떤 태그셋(품사 분류 체계)을 사용했는지, 그리고 어떤 언어나 도메인의 데이터로 평가했는지를 함께 확인하면 결과를 더 정확히 해석할 수 있습니다.
주의할 점
같은 단어라도 문맥에 따라 품사가 달라질 수 있으므로, 단순히 단어 형태만으로는 정확한 품사 태깅이 어렵다.