다중모드코퍼스 (Multimodal Corpus of Interpreting)
쉽게 풀면
음성뿐 아니라 영상이나 눈동자 움직임 같은 여러 종류의 자료를 함께 모아 만든 자료집입니다.
왜 중요한가
통역은 음성뿐 아니라 화자의 몸짓, 시선, 슬라이드, 통역사의 노트와 표정이 함께 작동하는 사건이므로 음성 전사만으로는 통역사가 무엇을 참조하고 어떻게 반응했는지 알 수 없으며, 영상·시선·음성을 시간축으로 정렬한 다중모드 코퍼스가 이를 분석하게 합니다. 수어통역 연구에서는 수어 자체가 시각 양식이므로 다중모드 코퍼스가 필수이고, 대화통역에서 통역사의 시선과 몸짓이 발언 순서를 관리하는 방식이 이 자료로 연구됩니다.
논문에서는 이렇게 쓰입니다
다중모드코퍼스가 시선 패턴과 특정 통역전략을 실시간으로 연관 지어 분석할 수 있게 해준다는 점을 설명한 문장이다.
이 문장은 이러한 코퍼스가 음성 자료만 다루던 기존 연구의 한계를 넘어, 통역 행위의 비언어적 측면까지 관찰할 수 있게 한다는 점을 설명합니다.
조금 더 깊게 보면
다중모드 코퍼스는 주석 체계가 표준화되지 않아 연구 간 비교가 어렵고, 영상 자료는 참여자 신원 보호가 음성보다 훨씬 어려워 공개 코퍼스가 거의 없습니다. 몸짓과 시선의 주석은 분석자의 해석에 크게 의존하여 신뢰도 확보에 비용이 많이 들며, 어떤 양식을 어느 세밀도로 기록할지가 연구 질문에 따라 달라 범용 코퍼스 구축이 어렵습니다. 통역코퍼스 일반의 편중 문제, 즉 공개 회의 중심이라는 한계가 여기서는 더 심합니다. 시선추적 장비나 카메라를 부착한 상태에서의 통역은 평상시와 다른 긴장을 유발할 수 있어, 자료 수집 장비 자체가 관찰 대상의 행동에 영향을 미치는 관찰자 효과가 이 방법론의 상시적 고려 사항이다. 영상 자료의 저장 용량이 음성 자료보다 훨씬 커서, 장기 보존과 공유에 드는 비용도 코퍼스 구축의 현실적 제약으로 작용한다.
주의할 점
수어통역 연구에서 특히 중요하게 활용된다는 점에 유의해야 한다.