BLEU점수 (BLEU score)
쉽게 풀면
기계가 번역한 문장이 사람이 쓴 정답 번역과 얼마나 비슷한지, 겹치는 단어 묶음을 세어서 점수로 매기는 평가 방법이에요.
왜 중요한가
2002년 파피네니(Papineni) 등이 IBM에서 제안한 BLEU는 사람이 평가하지 않고도 기계번역 시스템을 비교할 수 있게 해 준 첫 자동 지표로, 이후 20년간 기계번역평가의 사실상 표준이었습니다. 논문에서 새 모델을 제안할 때 이전 모델 대비 BLEU 상승치를 보고하는 것이 관행이며, 대규모 실험을 빠르게 반복할 수 있게 한 점이 통계적 기계번역과 신경망 기계번역 발전 속도에 기여했습니다.
논문에서는 이렇게 쓰입니다
시스템 간 성능 비교에 BLEU점수가 활용되는 전형적인 연구 사례를 제시한다.
n-그램 일치도에 기반한 자동평가지표가 유창성이나 의미 보존을 완전히 반영하지 못하는 한계를 지적하는 서술이다.
조금 더 깊게 보면
BLEU는 표층 n-그램 일치만 보므로 동의어나 어순 변화를 인정하지 않고, 참조 번역이 하나뿐일 때 유효한 번역을 부당하게 낮게 평가합니다. 신경망 번역 이후 BLEU와 인간 평가의 상관이 약해졌다는 보고가 잇따르면서 COMET 같은 학습 기반 지표가 대안으로 부상했습니다. BLEU 점수를 언어쌍이나 데이터셋을 넘어 비교하는 것은 무의미하며, 토큰화 방식에 따라 수 점씩 달라지기도 하므로 논문 간 수치를 직접 비교할 때는 특히 주의하셔야 합니다. BLEU 점수는 토큰화 방식이나 참조 번역의 개수에 따라 수치가 크게 달라지므로, 서로 다른 논문에서 보고된 BLEU 값을 별도의 검증 없이 직접 비교하는 것은 방법론적으로 부적절하다.
주의할 점
BLEU점수는 표면적 어휘 일치도에 기반하므로, 의미는 같지만 표현이 다른 훌륭한 번역에 낮은 점수를 부여할 수 있다는 한계가 지적된다.
신경망 번역 이후 BLEU와 인간 평가의 상관이 약해졌다는 보고가 잇따르면서 COMET 같은 학습 기반 지표가 대안으로 부상했다. 참조 번역이 하나뿐일 때는 유효한 번역인데도 부당하게 낮은 점수를 받을 수 있어, 여러 개의 참조 번역을 함께 사용하는 것이 권장된다.