BLEU점수 (BLEU score)
한 줄 정의: 기계번역 결과물을 인간이 작성한 참조 번역과 비교하여 n-그램 일치도를 기반으로 산출하는 자동 평가 지표로, 기계번역 품질을 신속하고 재현 가능하게 측정하기 위해 널리 사용된다.
쉽게 풀면
기계가 번역한 문장이 사람이 쓴 정답 번역과 얼마나 비슷한지, 겹치는 단어 묶음을 세어서 점수로 매기는 평가 방법이에요.
논문에서는 이렇게 쓰입니다
"두 신경망기계번역 시스템을 비교한 결과, 새로운 모델의 BLEU점수가 기존 모델보다 유의하게 높게 나타나 번역 품질 개선이 확인되었다."
시스템 간 성능 비교에 BLEU점수가 활용되는 전형적인 연구 사례를 제시한다.
주의할 점
BLEU점수는 표면적 어휘 일치도에 기반하므로, 의미는 같지만 표현이 다른 훌륭한 번역에 낮은 점수를 부여할 수 있다는 한계가 지적된다.