이해도테스트 (Comprehension Testing in Interpreting)
쉽게 풀면
통역을 들은 사람이 원래 내용을 얼마나 이해했는지 확인하는 테스트입니다.
왜 중요한가
통역 품질을 원문과의 대조가 아니라 청중이 실제로 무엇을 이해했는지로 측정하려는 시도로, 게르버(Roderick Gerver)의 초기 실험부터 통역 효과 연구의 한 축이었습니다. 원격 통역이나 기계통역의 실용성을 평가할 때 청중의 이해도 점수를 인간 통역과 비교하는 설계가 쓰이며, 통역이 있는 강의와 없는 강의를 비교해 교육통역의 효과를 검증하는 연구에도 이 방법이 적용됩니다.
논문에서는 이렇게 쓰입니다
이해도테스트가 평가의 초점을 통역사의 산출물에서 청자의 실제 이해로 옮긴다는 점을 설명한 문장이다.
청중 대상 질문지를 통해 통역 이해도를 측정하는 방법이다.
조금 더 깊게 보면
청중의 이해도는 통역 품질뿐 아니라 청중의 사전 지식, 주의력, 원발화 자체의 난이도에 좌우되므로 통역의 효과만 분리하기가 어렵습니다. 또 이해도 검사 문항이 사실 기억에 치우치면 논지나 어조의 전달 같은 질적 측면을 놓치게 됩니다. 원문 대조 기반의 정확성 평가와 청중 기반의 이해도 평가가 서로 다른 결과를 낼 때 어느 쪽이 '품질'인지에 대한 합의가 없다는 점이 통역품질평가의 근본 쟁점입니다. 이해도 검사 문항을 원발화 내용을 기준으로 설계할지 통역문 내용을 기준으로 설계할지에 따라 결과가 달라질 수 있어, 검사지 제작 단계에서부터 평가자의 관점이 개입된다는 점이 방법론적 논쟁거리다. 통역 유무를 비교하는 대조군 설계에서는 같은 청중이 통역 있는 조건과 없는 조건을 모두 경험하지 않도록 집단을 분리해야 한다. 청중의 모국어 능력 자체가 이해도 검사 결과에 영향을 미칠 수 있어, 검사 설계 단계에서 이를 통제 변수로 다루어야 한다. 검사 결과가 낮게 나온 원인이 통역 자체의 결함인지 청중의 주의 분산인지 가려내기 위해 통제집단 설계가 함께 쓰인다.
주의할 점
청중의 사전지식이나 집중도 등 통역 외적 요인이 결과에 영향을 줄 수 있다는 점에 유의해야 한다.