기계번역평가 (machine translation evaluation)
쉽게 풀면
기계가 번역한 결과가 얼마나 잘 되었는지 점수를 매기고 판단하는 활동이에요. 컴퓨터로 자동으로 하기도 하고, 사람이 직접 평가하기도 해요.
왜 중요한가
기계번역 시스템의 개발은 평가 지표에 최적화되므로 지표가 곧 연구 방향을 결정하며, BLEU 같은 자동 지표와 적절성·유창성 인간 평가, 직접 평가(DA), MQM 오류 분류 체계가 WMT 공동 평가 캠페인을 통해 표준화되어 왔습니다. 번역 구매자에게는 어떤 시스템을 도입할지, 포스트에디팅 비용을 어떻게 산정할지의 근거가 되며, 인간수준 논쟁은 평가 방법의 결함이 결론을 뒤바꿀 수 있음을 보여 방법론 자체를 연구 대상으로 만들었습니다.
논문에서는 이렇게 쓰입니다
자동평가의 한계를 보완하기 위해 인간평가를 병행하는 연구 방법을 설명한다.
자동 지표인 BLEU 점수가 실제 사람이 느끼는 번역 품질과 항상 잘 맞아떨어지는 것은 아니며, 그 정도가 언어에 따라 달라진다는 결과입니다.
조금 더 깊게 보면
자동 지표는 참조 번역과의 표층 유사성을 측정하므로 유효한 대안 번역을 벌하고 참조 번역의 품질에 종속되며, 신경망 번역 이후 BLEU 같은 표층 지표와 인간 판단의 상관이 약해졌다는 것이 반복 보고되어, 최근에는 COMET처럼 사전학습 언어모델 기반 지표가 WMT 등에서 주 지표로 쓰이는 추세입니다. 인간 평가도 평가자의 언어 능력, 문장 단위와 문서 단위, 원문 참조 여부에 따라 결과가 달라지므로 '인간 평가'가 곧 정답은 아닙니다. 번역학의 번역품질평가가 목적과 독자를 고려하는 반면 기계번역 평가는 오랫동안 맥락 없는 문장 단위 비교에 머물러 두 분야의 품질 개념이 거의 대화하지 않았다는 점이 지적되며, 최근에야 문서 단위 평가가 확산되고 있습니다.
주의할 점
기계번역평가는 평가 목적(연구용, 상용 시스템 비교 등)에 따라 적절한 평가 지표와 방법이 달라지므로, 단일 지표에만 의존하지 않는 것이 바람직하다.