인간 피드백 기반 강화학습 (Reinforcement Learning from Human Feedback)
쉽게 풀면
한 요리사가 같은 요리를 여러 방식으로 만들어 손님들에게 내놓았다고 해봅시다. 손님들은 각 요리를 맛보고 "이게 저것보다 낫다"는 식으로 순위를 매깁니다. 이 순위 데이터를 모아서 "손님들이 대체로 좋아하는 맛의 패턴"을 학습한 평가 기준(보상 모델)을 만들고, 요리사는 이후 그 평가 기준에서 높은 점수를 받도록 요리법을 계속 개선해 나갑니다. RLHF도 이와 비슷하게, 사람 평가자들이 언어모델의 여러 답변 중 더 나은 것을 골라주면, 그 선호 데이터로 "사람이 좋아하는 답변"을 예측하는 보상 모델을 만들고, 이 보상 모델의 점수를 최대화하도록 강화학습으로 언어모델을 다시 조정합니다.
왜 중요한가
사전학습만 마친 언어모델은 문법적으로 그럴듯하지만 유해하거나 무관하거나 거짓된 답을 내놓을 수 있는데, RLHF는 이런 문제를 완화해 실제 대화형 서비스에 배포 가능한 수준으로 모델을 다듬는 핵심 단계이기 때문에 정렬(alignment) 연구의 중심에 있습니다. 또한 사람의 가치관이나 선호처럼 명시적인 수식으로 정의하기 어려운 목표를 학습 신호로 바꾸는 대표적인 방법이라는 점에서, 강화학습과 인간-AI 상호작용 연구를 잇는 다리 역할을 합니다. 이 때문에 챗봇, 코드 생성, 요약 등 다양한 응용 분야의 논문에서 학습 파이프라인의 한 단계로 폭넓게 인용됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 대규모 언어모델의 학습 파이프라인을 설명하는 논문에서 흔히 등장합니다. RLHF는 모델이 단순히 그럴듯한 문장을 생성하는 것을 넘어, 유용하고 안전하며 사람의 의도에 부합하는 답변을 하도록 조정하는 정렬(alignment) 단계로서 최신 대화형 AI 연구에서 핵심적으로 다뤄집니다.
요약이나 번역처럼 정답이 하나로 정해지지 않는 생성 과제에서, RLHF가 지도학습보다 사람의 실제 만족도를 더 잘 반영한다는 점을 보여주는 비교 실험 문장으로, 자연어생성 평가 연구에서 자주 등장합니다.
대화형 챗봇뿐 아니라 코드 생성처럼 특정 전문 영역에서도 RLHF가 사람의 취향과 안전 기준에 맞춘 출력을 유도하는 데 쓰인다는 점을 보여주는 예문으로, 응용 AI 연구에서 흔히 볼 수 있습니다.
조금 더 깊게 보면
RLHF는 대체로 세 단계로 구성됩니다. 먼저 지도학습으로 기본적인 응답 형태를 학습시키고, 이어서 사람 평가자의 선호 비교 데이터를 이용해 응답의 좋고 나쁨을 예측하는 보상 모델을 학습하며, 마지막으로 PPO(Proximal Policy Optimization)와 같은 강화학습 알고리즘으로 보상 모델의 점수를 최대화하도록 언어모델 자체를 조정합니다. 최근에는 별도의 보상 모델과 강화학습 단계 없이 선호 데이터를 직접 학습에 반영하는 DPO(Direct Preference Optimization) 같은 대안적 방법도 함께 연구되고 있어, 논문에서 RLHF와 이런 변형 기법을 비교하는 경우가 늘고 있습니다.
주의할 점
RLHF는 모델을 처음부터 학습시키는 과정이 아니라, 이미 파인튜닝을 거친 모델의 응답 스타일과 안전성을 사람의 선호에 맞춰 추가로 다듬는 단계입니다. 또한 보상 모델은 어디까지나 사람 평가자들의 선호를 근사한 것이므로, 평가자 집단의 편향이나 보상 모델의 오차가 그대로 최종 모델에 반영될 수 있다는 한계가 있습니다.