제로샷 번역 (zero-shot translation)

한 줄 정의: 다국어 번역 모델이 학습 때 직접 본 적 없는 언어쌍 사이를 번역하는 현상 또는 그 기법입니다.

쉽게 풀면

제로샷 번역은 예를 들어 한국어-영어, 영어-일본어 데이터로만 학습한 번역 모델이 한국어-일본어 번역을 따로 배우지 않았는데도 해내는 것을 말합니다. 여러 언어를 한 모델에 함께 학습시키면 언어들 사이에 공통된 의미 표현이 생긴다는 가설로 설명됩니다. 데이터가 부족한 언어쌍 번역에 유용한 방법으로 주목받았습니다.

왜 중요한가

병렬 코퍼스가 거의 없는 저자원 언어쌍 번역을 가능하게 한다는 점에서 기계번역 연구의 중요한 주제입니다. 대규모 언어모델이 번역을 수행하는 능력을 평가할 때도 제로샷 조건이 자주 쓰입니다.

논문에서는 이렇게 쓰입니다

""다국어 모델의 제로샷 번역 성능은 영어를 경유하는 피벗 번역보다 BLEU 기준 약간 낮았으나, 두 단계 번역에서 생기는 오류 누적은 줄어들었다.""

제로샷 번역을 대표적 대안인 피벗 번역과 비교하는 예문입니다.

조금 더 깊게 보면

2017년 존슨(Johnson) 등 구글 연구진이 하나의 신경망 모델에 목표언어 표시 토큰을 붙여 다국어를 학습시키는 방식으로 제로샷 번역이 가능함을 보였습니다. 초기 제로샷 번역은 엉뚱한 언어로 출력하는 목표언어 이탈 문제가 자주 보고되었습니다. 이후 학습 데이터 구성과 정규화 기법으로 성능이 개선되었습니다. 대규모 언어모델 시대에는 예시 없이 지시만으로 번역을 시키는 경우도 제로샷 번역이라 부르기 때문에 문맥에 따라 뜻이 조금 다릅니다.

주의할 점

컴퓨터과학의 제로샷 학습은 학습하지 않은 클래스를 분류하는 일반 개념이고, 제로샷 번역은 학습하지 않은 언어쌍의 번역이라는 기계번역 고유의 현상입니다. 영어를 거쳐 두 번 번역하는 피벗 번역과도 구별해야 합니다.