다차원 품질 지표(MQM) (Multidimensional Quality Metrics (MQM))

한 줄 정의: 번역 오류를 정확성·유창성·용어 등 유형별로 분류하고 심각도에 따라 가중치를 주어 품질을 점수화하는 평가 틀입니다.

쉽게 풀면

번역이 '좋다/나쁘다'만 말하면 무엇을 고쳐야 할지 알 수 없습니다. MQM은 오류마다 '뜻이 틀렸다', '어색하다', '용어가 다르다' 같은 이름표와 '사소함/중대함/치명적' 같은 무게를 붙입니다. 그리고 이를 합산해 번역 품질을 수치로 나타냅니다.

왜 중요한가

오류 유형 목록을 공유하면 서로 다른 평가자·회사·연구가 같은 기준으로 번역을 비교할 수 있어, 번역 산업의 품질 관리와 연구 모두에서 사실상의 공통 틀로 쓰입니다. 최근 기계번역 평가에서는 전문 번역가의 MQM 주석이 자동 지표보다 신뢰할 만한 기준 자료로 자주 활용됩니다.

논문에서는 이렇게 쓰입니다

"두 전문 번역가가 MQM 오류 유형 체계에 따라 주석한 결과, 신경망 기계번역의 오류는 정확성 범주의 오역과 누락에 집중되었다."

오류를 유형별로 세어 기계번역의 약점을 분석한 연구 문장입니다.

조금 더 깊게 보면

MQM은 2010년대 초 유럽연합 지원 프로젝트(QTLaunchPad)에서 개발되었고, 이후 업계 표준화 단체의 품질 평가 틀과 통합되었습니다. 특징은 모든 과제에 모든 오류 유형을 쓰는 것이 아니라, 텍스트 종류와 목적에 맞게 필요한 유형만 골라 평가 기준을 구성하도록 설계되었다는 점입니다. 오류 수에 심각도 가중치를 곱해 합산한 뒤 텍스트 길이로 나누어 점수를 내는 방식이 일반적입니다. 평가자 간 판단 차이, 특히 한 오류를 어느 유형으로 볼지에 대한 불일치가 알려진 한계입니다.

주의할 점

하우스 모델처럼 원문과 번역문의 기능을 비교하는 이론 중심 평가 모형과 달리, MQM은 오류를 세는 실무형 분석 도구입니다. 오류가 적다는 것이 번역이 목적에 잘 맞는다는 것을 모두 보장하지는 않습니다.