환각현상 (Hallucination)

한 줄 정의: 언어모델이 사실이 아니거나 근거 없는 내용을, 마치 사실인 것처럼 자연스럽고 그럴듯하게 만들어내는 현상입니다.

쉽게 풀면

시험에서 모르는 문제가 나왔을 때, 백지를 내는 대신 그럴듯한 답을 지어내서 쓰는 학생을 떠올려 보세요. 문장은 매끄럽고 자신감 있게 쓰여 있지만, 내용은 틀렸거나 아예 존재하지 않는 사실일 수 있습니다. 언어모델의 환각현상도 이와 비슷합니다. 모델은 다음에 나올 단어를 확률적으로 가장 그럴듯하게 이어 붙이도록 학습되었기 때문에, 실제로 알지 못하는 내용에 대해서도 문법적으로 자연스럽고 설득력 있는 문장을 만들어냅니다. 문제는 이 문장이 얼마나 자연스러운지와, 실제로 사실인지는 전혀 별개라는 점입니다.

왜 중요한가

환각현상은 언어모델을 실제 서비스에 적용할 때 가장 먼저 마주치는 신뢰성 문제이기 때문에, 자연어생성·질의응답·요약 등 거의 모든 응용 연구에서 성능 평가와 함께 반드시 다뤄집니다. 특히 의료, 법률, 학술 정보처럼 사실 정확성이 중요한 분야에서는 환각을 얼마나 줄이느냐가 실용화 가능 여부를 좌우하기 때문에, 환각을 탐지하고 억제하는 방법 자체가 하나의 활발한 연구 주제로 자리잡고 있습니다.

논문에서는 이렇게 쓰입니다

"생성된 응답 중 12%는 참조 문서에 존재하지 않는 정보를 포함하는 환각현상으로 분류되었으며, 이는 사실 검증이 필요한 응용 분야에서 주요한 한계로 지적된다."

이 문장은 "모델이 만든 답변 중 상당수가 근거 자료에 없는 내용을 마치 사실처럼 지어내고 있었다"는 뜻이며, 이런 현상 때문에 의료·법률처럼 정확성이 중요한 분야에서는 모델의 답변을 그대로 신뢰하기 어렵다는 점을 지적하는 문맥에서 자주 사용됩니다.

"의료 질의응답 시스템에서 모델은 임상 지침에 없는 약물 용량을 그럴듯하게 생성하는 환각현상을 보였으며, 이는 실제 진료 보조 도구로 도입하기 전 반드시 해결해야 할 과제로 남는다."

의료 AI 분야 논문에서는 환각현상이 단순한 오류를 넘어 안전성 문제로 직결되기 때문에 더욱 엄격하게 다뤄진다는 점을 보여줍니다.

"이미지 캡셔닝 모델은 실제 이미지에 존재하지 않는 객체를 문장에 포함시키는 시각적 환각현상을 종종 일으켰다."

멀티모달 연구에서는 텍스트뿐 아니라 이미지나 영상과 관련된 생성 결과에서도 환각현상이 나타난다는 점을 지적하는 데 쓰입니다.

조금 더 깊게 보면

연구자들은 환각현상을 흔히 입력에 주어진 내용과 모순되는 "충실성(faithfulness) 환각"과, 입력과는 무관하게 세상에 대한 사실 자체가 틀린 "사실성(factuality) 환각"으로 나누어 다룹니다. 이를 줄이기 위해 답변을 생성하기 전에 외부 문서를 참조하게 하는 검색증강생성, 생성된 내용을 근거 문서와 대조해 점수화하는 사실성 평가 지표, 모델 스스로 확신도를 표현하게 하는 방법 등이 함께 연구됩니다. 다만 이러한 기법들은 환각의 빈도를 줄이는 데는 도움이 되지만, 아직 근본적으로 없애지는 못한다는 점이 일반적으로 인정되는 한계입니다.

주의할 점

환각현상은 모델의 문장이 얼마나 유창한지와는 관계가 없습니다. 오히려 문장이 매끄럽고 자신감 있게 쓰여 있을수록 사람이 오류를 알아채기 어려워, 더 위험할 수 있습니다. 검색증강생성처럼 외부 근거 문서를 참고하게 하는 방법이 환각을 줄이는 데 도움이 되지만, 완전히 없애지는 못합니다.