명제정확성 (Propositional Accuracy)

통번역학
한 줄 정의: 통역 산출이 원발화에 담긴 개별 명제(사실적 진술)들을 얼마나 정확하게 보존해 전달했는지를 측정하는 평가 기준이다.

쉽게 풀면

통역이 원래 말의 하나하나의 사실 내용을 정확히 전달했는지를 보는 기준입니다.

왜 중요한가

명제정확성은 통역 품질 평가에서 화자의 핵심 정보가 얼마나 손실 없이 전달되었는지를 객관적으로 측정하려는 시도로, 통역 평가 방법론 연구에서 다른 평가 기준(유창성, 전달력 등)과 함께 다차원적 품질 모델을 구성하는 요소로 다루어집니다.

논문에서는 이렇게 쓰입니다

Propositional accuracy is typically scored by comparing individual idea units between source and target output.

명제정확성이 원문과 통역 간 개별 의미단위를 비교해 채점된다는 점을 설명한 문장이다.

"이 연구는 동시통역 훈련생과 숙련 통역사의 산출물을 비교하여, 핵심 수치 정보가 누락되는 빈도가 숙련도에 따라 어떻게 다른지 측정하였다."

채점 방식 일반 설명이 아니라 훈련생과 숙련자의 비교라는 구체적 연구를 다룬 것으로, 명제정확성이 숙련도를 가르는 지표로 실제 쓰일 수 있는지를 확인한 문장입니다.

조금 더 깊게 보면

명제정확성만을 지나치게 강조하면 자연스러운 전달력이나 청중과의 소통 효과 같은 다른 중요한 품질 요소를 간과할 위험이 있어, 단일 기준으로 통역 품질 전체를 평가하는 것은 부적절하다는 지적이 있습니다. 명제정확성 채점은 원문의 어떤 명제를 핵심으로 볼지 채점 기준표를 미리 정해야 하는데, 화자의 의도가 여러 층위로 해석될 수 있는 발화에서는 핵심 명제 자체를 정하는 일부터 논쟁적이다. 숫자나 고유명사처럼 대체 불가능한 명제와, 수식어처럼 대체 가능한 부수적 명제를 같은 비중으로 채점할지 여부도 채점 설계에서 자주 논의되는 쟁점이다. 채점 결과는 원문과 통역문을 모두 아는 이중언어 채점자에게 의존하므로, 채점자 확보 자체가 연구의 현실적 제약이 되기도 한다. 동일한 원문에 대해 여러 통역사의 산출물을 비교하는 연구에서는 명제정확성 점수의 개인차가 언어능력보다 처리전략의 차이에서 비롯되는 경우가 많다는 것이 확인되었다. 채점 결과의 재현성을 높이기 위해 동일 자료를 시간 간격을 두고 다시 채점하는 검사-재검사 절차가 쓰이기도 한다.

주의할 점

표현 방식의 차이는 감점 대상이 아니며, 핵심 명제의 보존 여부만을 평가한다는 점에 유의해야 한다. 표현 방식의 차이는 감점 대상이 아니며, 핵심 명제의 보존 여부만을 평가한다는 점에 유의해야 한다.

관련 용어