번역편집률 (Translation Edit Rate (TER))
한 줄 정의: 기계번역문을 참조번역과 같게 만들려면 몇 번의 편집이 필요한지를 비율로 나타낸 자동평가 지표입니다.
쉽게 풀면
번역편집률은 기계번역 결과를 정답 번역으로 바꾸기 위해 단어를 넣고, 지우고, 바꾸고, 옮기는 작업이 몇 번 필요한지를 세어 참조번역 길이로 나눈 값입니다. 편집 횟수가 적을수록, 즉 값이 낮을수록 좋은 번역입니다. 사후편집에 드는 수고를 짐작하는 지표로도 쓰입니다.
왜 중요한가
BLEU와 함께 오래 쓰여 온 기계번역 평가 지표이며, 특히 사후편집 연구에서 편집량을 측정하는 기본 도구입니다. 사람이 실제로 고친 번역을 참조로 쓰는 HTER는 사후편집 노력을 재는 대표 척도입니다.
논문에서는 이렇게 쓰입니다
""사후편집자가 수정한 결과를 기준으로 계산한 HTER는 평균 0.28로, 전체 단어의 약 28%에 해당하는 편집이 이루어졌음을 뜻한다.""
HTER 값을 편집 비율로 해석하는 방법을 보여 줍니다.
조금 더 깊게 보면
TER은 2006년 스노버(Snover) 등이 제안했으며, 삽입·삭제·대체에 더해 단어 묶음의 이동(shift)을 한 번의 편집으로 센다는 점이 음성인식의 단어오류율과 다릅니다. 참조번역이 여러 개면 가장 가까운 것을 기준으로 합니다. HTER(Human-targeted TER)는 사람이 기계번역문을 최소한으로 고친 결과를 참조로 삼습니다. 의미는 같지만 표현이 다른 번역도 편집이 많다고 판정되는 한계가 있습니다.
주의할 점
노동법의 삼각고용관계와 약어(TER)만 같을 뿐 전혀 관련이 없습니다. 또한 BLEU·COMET과 달리 값이 낮을수록 좋은 지표이므로 결과를 해석할 때 방향을 혼동하지 말아야 합니다.