대규모 언어 모델 (LLM)
쉽게 풀면
책을 수억 권 읽은 사람에게 "옛날 옛적에 한 마을에"라고 운을 떼면, 그 사람은 이야기가 어떻게 이어질지 자연스럽게 예측해서 다음 문장을 이어갈 수 있을 것입니다. LLM(Large Language Model)은 바로 이런 방식으로 작동합니다. 인터넷의 방대한 글을 학습해서 "이 단어 다음에는 어떤 단어가 올 확률이 높은가"를 통계적으로 익히고, 이를 반복해 자연스러운 문장을 만들어냅니다. ChatGPT나 Claude 같은 서비스의 핵심 엔진이 바로 이 LLM입니다.
왜 중요한가
LLM은 자연어처리 연구의 패러다임을 특정 과제마다 별도 모델을 학습하던 방식에서, 하나의 거대한 사전학습 모델을 다양한 과제에 적용하는 방식으로 바꾸어 놓았습니다. 그 결과 기계번역, 요약, 질의응답 같은 전통적인 자연어처리 분야뿐 아니라 의료, 법률, 교육, 소프트웨어 개발 등 실무 전반에서 LLM을 활용한 응용 연구가 폭발적으로 늘어났습니다. 동시에 환각, 편향, 비용, 안전성 같은 LLM 고유의 문제들이 새로운 연구 주제로 떠오르면서, 오늘날 컴퓨터과학·AI 논문에서 가장 빈번하게 다뤄지는 주제 중 하나가 되었습니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 방대한 텍스트로 학습된 언어 모델을 도구로 사용해, 긴 글을 짧게 요약하는 작업을 자동화했다는 뜻입니다.
법률 문서로 이미 학습된 대규모 언어 모델을 추가로 특화 학습시켰더니, 관련 판례를 찾아내는 작업에서 일반 모델보다 더 정확한 결과를 냈다는 뜻입니다.
프로그램 코드를 자동으로 작성하는 능력을 여러 언어 모델로 시험해봤더니, 모델이 크다고 해서 반드시 성능이 더 좋아지는 것은 아니었다는 뜻입니다.
조금 더 깊게 보면
현재의 LLM 대부분은 트랜스포머 구조를 기반으로 하며, 방대한 텍스트로 다음 단어를 예측하도록 사전학습한 뒤, 사람이 선호하는 답변 형태에 맞추기 위해 지시문 미세조정(instruction tuning)이나 인간 피드백 기반 강화학습(RLHF) 같은 후처리 단계를 거치는 경우가 많습니다. 논문에서는 모델의 능력을 파라미터 수, 학습 데이터 규모, 다양한 벤치마크 점수 등으로 비교하며, 최근에는 단순히 모델을 키우는 것 외에도 검색증강생성(RAG), 도구 사용, 추론 시간 확장 같은 기법들이 성능 향상의 주요 축으로 함께 다뤄집니다.
주의할 점
LLM은 다음에 올 단어를 확률적으로 예측할 뿐, 사실 여부를 직접 "확인"하지는 않습니다. 그래서 그럴듯하지만 틀린 내용을 마치 사실처럼 만들어내는 환각현상이 발생할 수 있으며, 이는 LLM의 근본적인 한계로 논의됩니다.