AI 환각 인용 (AI Hallucinated Citations)

한 줄 정의: 생성형 AI가 그럴듯해 보이지만 실제로는 존재하지 않는 논문 제목·저자·DOI를 만들어내어 참고문헌으로 인용하는 오류입니다.

쉽게 풀면

시험공부를 안 한 학생이 서술형 답안에 자신 있게 "OOO 교수가 2019년에 쓴 『△△△론』에 따르면..."이라고 적었는데, 사실 그런 책도 저자도 존재하지 않는 상황을 떠올려 보세요. 생성형 AI(챗봇)는 실제 데이터베이스를 검색해 사실을 확인하는 도구가 아니라, "논문 인용은 대략 이런 형태로 생긴다"는 패턴을 학습해 그럴듯한 문장을 만들어내는 도구입니다. 그래서 저자명·학술지명·발행연도·DOI까지 형식은 완벽하게 갖췄지만, 실제로는 세상에 존재하지 않는 "가짜 참고문헌"을 자신 있게 만들어내는 경우가 자주 발생합니다. 이를 AI의 "환각(hallucination)" 현상이라 부릅니다.

왜 중요한가

생성형 AI가 문헌 검색과 초안 작성 보조 도구로 널리 쓰이면서, AI 환각 인용은 연구윤리·학술출판 분야에서 가장 빈번하게 논의되는 문제 중 하나가 되었습니다. 잘못된 참고문헌이 걸러지지 않고 출판되면 후속 연구자가 존재하지 않는 논문을 다시 인용하는 연쇄 오류로 이어질 수 있어, 단순한 오탈자 수준을 넘어 학술 기록의 신뢰성 자체를 위협합니다. 이 때문에 학술지 편집 정책, 동료심사 지침, 연구윤리 교육 등 여러 상위 주제와 맞물려 다뤄집니다.

논문에서는 이렇게 쓰입니다

"심사 과정에서 참고문헌 중 3건이 실제로 존재하지 않는 논문인 것으로 확인되어, 저자에게 생성형 AI 사용 여부에 대한 소명을 요청하였다."

이 문장은 학술지 편집부나 심사자가 인용된 참고문헌을 데이터베이스에서 조회했으나 검색되지 않아, 저자가 원고 작성 과정에서 AI가 만들어낸 가짜 인용을 그대로 사용했을 가능성을 의심하고 확인을 요구했다는 뜻입니다.

"법률 문서 초안에 포함된 판례 인용 다수가 실제 판결 데이터베이스에서 확인되지 않아, 법원은 해당 서면이 생성형 AI에 의해 작성되었을 가능성을 지적하였다."

법학 분야에서도 유사한 문제가 보고되고 있으며, 이 문장은 소송 서면에 인용된 판례가 실제로 존재하지 않아 법원이 AI 사용 여부와 검증 부족을 문제 삼았다는 상황을 나타냅니다.

"의학 교육 자료를 생성형 AI로 작성할 경우, 인용된 임상 연구 문헌의 상당수가 실제로 검색되지 않는 것으로 나타나 별도의 사실 확인 절차가 요구된다."

의학·보건 분야처럼 인용의 정확성이 직접적으로 중요한 영역에서는, AI가 생성한 참고문헌을 그대로 신뢰하지 않고 별도의 검증 절차를 거쳐야 한다는 점을 강조하는 문장입니다.

조금 더 깊게 보면

AI 환각 인용은 언어모델이 다음 단어를 통계적으로 예측하는 방식으로 문장을 생성한다는 근본적 특성에서 비롯됩니다. 모델은 실제 문헌 데이터베이스를 실시간으로 조회하는 것이 아니라, 학습 과정에서 본 수많은 인용 형식의 패턴을 바탕으로 "그럴듯한" 저자명·제목·학술지명·연도를 조합해내기 때문에, 형식적으로는 완벽해도 실체가 없는 결과물이 나올 수 있습니다. 이를 검증하는 방법으로는 DOI를 CrossRef 등 공식 등록 기관에서 직접 조회하거나, PubMed·Google Scholar 같은 데이터베이스에서 제목과 저자를 재검색하는 방식이 일반적으로 권장됩니다. 최근에는 검색 결과를 함께 근거로 제시하도록 하는 검색증강생성(RAG) 방식이 환각을 줄이는 보완책으로 논의되지만, 이 역시 완전한 해결책은 아니며 여전히 인간의 최종 확인이 필요하다는 점이 강조됩니다.

주의할 점

DOI 형식이 맞고 문장이 자연스럽다고 해서 실제로 존재하는 논문이라는 보장은 전혀 없습니다. 생성형 AI로 초안을 작성했거나 참고문헌 목록을 정리했다면, 인용한 모든 문헌을 CrossRef·PubMed 등 실제 데이터베이스에서 하나하나 직접 확인해야 합니다. 이는 AI 저자됨 및 사용 공개 규범과도 맞닿아 있으며, 확인 없이 제출하면 의도치 않아도 연구자료 위조·변조와 유사한 결과를 낳을 수 있습니다.