말뭉치 주석 (Corpus Annotation)
쉽게 풀면
말뭉치 안의 문장마다 '이건 명사', '이건 동사구' 같은 언어 정보를 컴퓨터가 알아볼 수 있게 달아놓는 작업이에요.
왜 중요한가
코퍼스 주석은 원문에 품사·구문·의미·화용 정보를 덧붙이는 작업으로, 주석 없이는 통사 구조나 의미 관계에 대한 코퍼스 연구가 불가능합니다. Penn Treebank, 세종 말뭉치 같은 주석 코퍼스가 통계적 자연언어처리와 코퍼스언어학의 기반이 되었고, 주석 지침과 주석자 간 일치도가 연구의 신뢰성을 좌우합니다.
논문에서는 이렇게 쓰입니다
말뭉치 주석이 단일한 작업이 아니라 여러 언어학적 층위에서 각기 다른 기준으로 이루어짐을 설명하고 있다.
여러 사람이 같은 자료에 표시를 달았을 때 서로 얼마나 일치하는지를 수치로 확인하여 주석의 신뢰도를 검증한다는 설명이다.
조금 더 깊게 보면
주석은 이론 중립적일 수 없습니다. 품사 체계나 구문 표상 방식이 특정 문법 이론을 전제하므로 다른 이론의 연구자는 주석을 그대로 쓸 수 없는 경우가 많습니다. 또 자동 주석의 오류율은 장르·언어에 따라 크게 달라서 주석된 자료의 빈도 통계를 그대로 믿으면 안 됩니다. 주석자 간 일치도(카파)가 높아도 지침이 특정 해석을 강제한 결과일 수 있다는 점도 주의해야 합니다. 주석 지침(annotation guideline)은 애매한 경계 사례를 다루는 규칙을 문서화한 것으로, 지침이 정교할수록 주석자 간 일치도는 높아지지만 그만큼 특정 이론적 선택을 강제하게 되어 이론 중립성과는 상충 관계에 놓인다. 최근에는 사전학습 언어모델을 활용해 대규모 코퍼스에 자동으로 품사나 구문 주석을 부여한 뒤 일부만 사람이 검수하는 반자동 방식이 널리 쓰여, 완전 수작업 주석에 비해 구축 비용을 크게 낮추고 있다.
주의할 점
말뭉치 주석은 자동화된 도구로 이루어지더라도 오류가 포함될 수 있어, 연구 목적에 따라 수작업 검수나 주석자 간 일치도 검증이 필요함에 유의해야 한다.
코헨의 카파 계수처럼 우연 일치를 보정한 지표를 쓰지 않고 단순 일치율만 보고하면 주석 신뢰도가 실제보다 부풀려질 수 있다.