병렬말뭉치 (Parallel Corpus)
쉽게 풀면
같은 내용을 여러 언어로 번역해 놓아서 문장 단위로 서로 짝지을 수 있게 만든 말뭉치예요. 유엔 문서처럼 여러 언어로 동시에 작성된 자료가 대표적인 예예요.
왜 중요한가
병렬말뭉치는 두 언어 사이의 대응 관계를 학습 자료로 삼는 통계적 기계번역과 신경망 기계번역 시스템 개발의 핵심 자원이며, 언어 간 어휘·구문 대응을 분석하는 대조언어학 연구에서도 폭넓게 활용됩니다.
논문에서는 이렇게 쓰입니다
병렬말뭉치가 기계번역 개발과 언어학적 대조 연구라는 두 가지 목적에 모두 활용됨을 보여주고 있다.
여러 언어로 번역된 문장들을 짝지어 놓은 병렬말뭉치를 통해, 두 언어의 어순이 어떻게 체계적으로 대응되는지를 분석하는 전산언어학 연구 사례를 보여주는 예문이에요.
조금 더 깊게 보면
병렬말뭉치는 문장 단위 정렬(sentence alignment) 정확도가 활용 가치를 좌우하며, 완전히 대응되는 번역 자료(병렬말뭉치)와 같은 주제를 다루지만 번역 관계는 아닌 유사말뭉치(comparable corpus)가 구분되어 논의됩니다. 동일 언어쌍이라도 정렬 단위(문장·구·어절)에 따라 얻을 수 있는 정보가 달라집니다. 문장 정렬 알고리즘은 두 언어 텍스트의 길이 비율이나 어휘 대응 사전을 이용해 자동으로 짝을 맞추는데, 문장 분할 방식이 언어마다 달라 일대다 또는 다대다 대응이 흔히 발생해 후처리 검수가 필요하다. 다국어 병렬말뭉치는 두 언어 쌍뿐 아니라 셋 이상의 언어를 동시에 정렬해, 중간 언어를 매개로 직접 대응 자료가 부족한 언어쌍의 번역 자료를 간접적으로 확보하는 데도 활용된다.
주의할 점
병렬말뭉치는 번역문의 자연스러움이나 번역 방식(직역, 의역)에 따라 원문과의 대응 관계가 항상 일대일로 정확히 맞아떨어지지 않을 수 있음에 유의해야 한다. 기계번역으로 생성된 병렬 자료를 사람이 번역한 자료와 구분 없이 섞어 쓰면, 번역투 특유의 어색함이 언어학적 대조 분석 결과를 왜곡할 수 있다. 병렬말뭉치를 기계번역 학습에 사용할 때 저품질 번역 자료가 섞여 있으면 정렬 오류가 누적되어 모델 성능이 저하될 수 있어 사전 정제 작업이 필수적이다.