리스피킹 (respeaking)

한 줄 정의: 리스피커가 원 발화를 음성인식 소프트웨어가 잘 알아듣도록 다시 말해 실시간 자막을 만드는 기법입니다.

쉽게 풀면

생방송 뉴스에 실시간 자막을 붙이려면 무척 빨리 받아써야 합니다. 리스피킹에서는 사람이 방송 내용을 듣고 문장부호까지 말로 넣으면서 또렷하게 다시 말하고, 그 목소리를 음성인식 프로그램이 글자로 바꿉니다. 원래 발화를 음성인식기에 바로 넣는 것보다 정확도가 높습니다.

왜 중요한가

청각장애인을 위한 방송 접근성 요구가 커지면서 실시간 자막을 만드는 효율적인 방법으로 주목받았습니다. 동시통역과 비슷한 인지 부담을 가지므로 통역학에서 훈련 방법과 품질 평가가 연구됩니다.

논문에서는 이렇게 쓰입니다

"[[respeaking|리스피킹]] 자막의 품질을 NER 모델로 평가한 결과, 편집에 따른 생략이 주된 오류 유형으로 나타났다."

실시간 자막 품질 평가 연구의 결과 문장입니다.

조금 더 깊게 보면

리스피킹은 2000년대 초 영국 BBC 등 방송사에서 실시간 자막 제작에 본격적으로 도입되었습니다. 같은 언어로 다시 말하는 언어 내 리스피킹이 일반적이지만, 다른 언어로 옮겨 말하는 언어 간 리스피킹도 연구됩니다. 리스피커는 듣기, 말하기, 화면에 나온 인식 결과 확인·수정을 동시에 해야 해서 동시통역과 유사한 인지 부담을 가집니다. 품질 평가에는 오류를 편집 오류와 인식 오류로 나누고 심각도를 매기는 NER 모델이 널리 쓰입니다.

주의할 점

음성문자통역이 말을 글로 바꿔 제공하는 서비스 전반이라면, 리스피킹은 그중 사람이 음성인식기에 재발화하는 특정 기법입니다. 속기사가 키보드로 입력하는 방식이나 청각장애인자막 같은 사전 제작 자막과는 제작 방식이 다릅니다.