대규모 언어 모델 (LLM)
쉽게 풀면
책을 수억 권 읽은 사람에게 "옛날 옛적에 한 마을에"라고 운을 떼면, 그 사람은 이야기가 어떻게 이어질지 자연스럽게 예측해서 다음 문장을 이어갈 수 있을 것입니다. LLM(Large Language Model)은 바로 이런 방식으로 작동합니다.
인터넷의 방대한 글을 학습해서 "이 단어 다음에는 어떤 단어가 올 확률이 높은가"를 통계적으로 익히고, 이를 반복해 자연스러운 문장을 만들어냅니다. ChatGPT나 Claude 같은 서비스의 핵심 엔진이 바로 이 LLM입니다.
왜 중요한가
LLM은 자연어처리 연구의 패러다임을 특정 과제마다 별도 모델을 학습하던 방식에서, 하나의 거대한 사전학습 모델을 다양한 과제에 적용하는 방식으로 바꾸어 놓았습니다.
그 결과 기계번역, 요약, 질의응답 같은 전통적인 자연어처리 분야뿐 아니라 의료, 법률, 교육, 소프트웨어 개발 등 실무 전반에서 LLM을 활용한 응용 연구가 폭발적으로 늘어났습니다.
동시에 환각, 편향, 비용, 안전성 같은 LLM 고유의 문제들이 새로운 연구 주제로 떠오르면서, 오늘날 컴퓨터과학·AI 논문에서 가장 빈번하게 다뤄지는 주제 중 하나가 되었습니다.
핵심 정리
- 대규모 언어 모델(LLM)은 매우 많은 텍스트로 다음에 올 말을 예측하도록 학습한 신경망입니다. 대부분 트랜스포머 구조(Vaswani 등, 2017)를 쓰며, 파라미터(가중치) 수가 수십억에서 수천억 개에 이릅니다.
- Brown 등(2020)의 GPT-3는 1,750억 개 파라미터 모델로, 예시 몇 개만 프롬프트에 넣어도 새 과제를 수행하는 ‘few-shot’ 능력을 보였습니다. 이후 사전학습 뒤 사람의 선호나 지시에 맞춰 추가 학습(미세조정)하는 방식이 일반화되었습니다.
- Kaplan 등(2020)은 모델 크기, 데이터 양, 계산량을 늘릴수록 손실이 멱법칙으로 줄어든다는 경험적 규칙(스케일링 법칙)을 보고했습니다.
- 활용 방식은 프롬프트로 지시하는 방식(프롬프트 엔지니어링), 특정 자료로 추가 학습하는 미세조정, 외부 문서를 검색해 붙이는 검색증강생성(RAG) 등입니다.
예시로 보기
트랜스포머 모델의 크기를 어림해 봅시다. Kaplan 등(2020)은 임베딩을 뺀 파라미터 수를 N ≈ 12 · L · d²로 어림했습니다(L은 층 수, d는 은닉 차원). GPT-3는 L = 96, d = 12,288로 알려져 있어 코드로 계산하면 12 × 96 × 12,288² ≈ 1,739억 개로, 보고된 1,750억 개와 비슷합니다.
메모리도 어림할 수 있습니다. 파라미터마다 16비트(2바이트)로 저장하면 1,750억 × 2바이트 = 350 GB로, 단일 그래픽 카드 한 장에 올릴 수 없는 크기입니다. 그래서 논문에서는 모델 병렬화나 양자화(더 적은 비트로 저장)를 쓴다고 적습니다. 위 계산은 저장에 필요한 최소 메모리 어림이며, 실제로는 활성값과 학습 상태 때문에 훨씬 더 필요합니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| LLM은 사실을 저장한 데이터베이스다. | 통계적으로 그럴듯한 말을 생성하는 모델이어서 사실과 다른 내용을 자신 있게 만들어 낼 수 있습니다(환각현상; Ji 등, 2023). |
| 모델이 클수록 항상 좋다. | Hoffmann 등(2022)은 주어진 계산량에서 모델 크기와 학습 데이터 양을 함께 늘려야 한다고 보고했습니다. 크기만의 문제는 아닙니다. |
| 모델이 말을 이해한다는 증거다. | 이해 여부는 논쟁이 있는 주제입니다. Bender 등(2021)은 형태만 학습한 모델의 한계와 위험을 지적했습니다. |
| 같은 질문에는 늘 같은 답을 낸다. | 샘플링 설정(온도 등)에 따라 달라지므로, 논문에서는 모델 버전, 날짜, 설정을 적어야 재현이 가능합니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“본 연구에서는 대규모 언어 모델(LLM)을 활용한 전장 상황 분석 시스템을 제안하며, 특히 검색증강 생성(RAG)과 지도 학습 미세조정(SFT)을 결합한 고도화된 접근 방식을 제시한다.”
RAG 특화 소규모 대규모 언어 모델: 대규모 언어 모델의 지식 증류를 통한 전장 상황 분석 능력 강화, 한국컴퓨터정보학회논문지, 2025 · KCI 한국학술지인용색인 · 원문 보기 ↗
“ChatGPT는 다양한 문서를 학습한 대규모 언어 모델로서 코드 생성, 디버깅 등의능력은 물론 소프트웨어 분석 설계 영역에서도 활용할 수 있는 능력을 갖고 있는 것으로 연구되고 있다.”
ChatGPT 기반 소프트웨어 요구공학, 사물인터넷융복합논문지, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 연구자가 방대한 텍스트로 학습된 언어 모델을 도구로 사용해, 긴 글을 짧게 요약하는 작업을 자동화했다는 뜻입니다.
법률 문서로 이미 학습된 대규모 언어 모델을 추가로 특화 학습시켰더니, 관련 판례를 찾아내는 작업에서 일반 모델보다 더 정확한 결과를 냈다는 뜻입니다.
프로그램 코드를 자동으로 작성하는 능력을 여러 언어 모델로 시험해봤더니, 모델이 크다고 해서 반드시 성능이 더 좋아지는 것은 아니었다는 뜻입니다.
조금 더 깊게 보면
현재의 LLM 대부분은 트랜스포머 구조를 기반으로 하며, 방대한 텍스트로 다음 단어를 예측하도록 사전학습한 뒤, 사람이 선호하는 답변 형태에 맞추기 위해 지시문 미세조정(instruction tuning)이나 인간 피드백 기반 강화학습(RLHF) 같은 후처리 단계를 거치는 경우가 많습니다. 논문에서는 모델의 능력을 파라미터 수, 학습 데이터 규모, 다양한 벤치마크 점수 등으로 비교하며, 최근에는 단순히 모델을 키우는 것 외에도 검색증강생성(RAG), 도구 사용, 추론 시간 확장 같은 기법들이 성능 향상의 주요 축으로 함께 다뤄집니다.
주의할 점
LLM은 다음에 올 단어를 확률적으로 예측할 뿐, 사실 여부를 직접 "확인"하지는 않습니다. 그래서 그럴듯하지만 틀린 내용을 마치 사실처럼 만들어내는 환각현상이 발생할 수 있으며, 이는 LLM의 근본적인 한계로 논의됩니다.
헷갈리기 쉬운 용어
| 용어 | 한 줄 설명 | 관계 |
|---|---|---|
| 대규모 언어 모델 | 대량 텍스트로 사전학습한 초대형 신경망 | 대상 |
| 트랜스포머 | 어텐션 기반의 신경망 구조 | 대부분의 LLM의 뼈대 |
| 환각현상 | 언어모델이 사실이 아닌 내용을 그럴듯하게 생성 | LLM의 대표 한계 |
| 프롬프트 엔지니어링 | 모델 가중치를 바꾸지 않고 입력을 설계해 출력을 유도 | 사용 방식 |
| 머신러닝 | 데이터로부터 패턴을 학습하는 방법 전체 | 상위 분야 |
참고 문헌
- Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
- Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33.
- Hoffmann, J., Borgeaud, S., Mensch, A., et al. (2022). Training compute-optimal large language models. arXiv preprint arXiv:2203.15556.
- Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361.
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623.
- Ji, Z., Lee, N., Frieske, R., et al. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), Article 248.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.