강화학습 (Reinforcement Learning)
쉽게 풀면
강아지를 훈련시킬 때, "앉아"라는 규칙을 말로 설명해도 강아지는 이해하지 못합니다. 대신 강아지가 원하는 행동을 했을 때 간식을 주고, 그렇지 않을 때는 주지 않는 과정을 반복하면 강아지는 점점 더 간식을 많이 받는 행동을 스스로 골라 하게 됩니다. 강화학습도 이와 같은 원리입니다. 정답을 미리 알려주는 대신, 에이전트(학습 주체)가 환경 속에서 이런저런 행동을 시도해 보고 그 결과로 "보상"을 받으면서, 보상을 최대로 만드는 행동 방식(정책)을 스스로 찾아나가게 합니다.
왜 중요한가
정답 데이터를 미리 만들기 어렵거나, 여러 단계의 행동이 쌓여야 결과가 결정되는 문제(로봇 제어, 게임, 자원 배분 등)에서 강화학습은 지도학습으로는 다루기 힘든 순차적 의사결정 문제를 직접 다룰 수 있는 틀을 제공합니다. 또한 대규모 언어모델을 사람의 선호에 맞게 조정하는 RLHF처럼 최근 AI 연구의 핵심 기법도 강화학습의 틀 위에서 이루어지고 있어, 로봇공학부터 자연어처리까지 폭넓은 분야의 논문에서 기본 개념으로 인용됩니다.
논문에서는 이렇게 쓰입니다
로봇에게 정답 동작을 미리 알려주지 않고, 다양한 행동을 시도한 뒤 얻은 보상 신호를 바탕으로 점차 더 나은 행동을 찾아가도록 학습시켰다는 뜻입니다.
물리적인 로봇이 아니라 시스템 자원 관리처럼 추상적인 제어 문제에도 강화학습이 적용된다는 점을 보여주는 예문으로, 산업 응용 연구에서 흔히 볼 수 있는 서술 방식입니다.
금융공학 분야에서 시간에 따라 계속 결정을 내려야 하는 문제를 강화학습 문제로 정의하는 방식을 보여주는 문장으로, 순차적 의사결정 문제를 다루는 다양한 응용 논문에서 반복되는 패턴입니다.
조금 더 깊게 보면
강화학습 문제는 흔히 마르코프 결정 과정(Markov Decision Process, MDP)으로 정식화되며, 에이전트가 현재 상태에서 어떤 행동을 할지 결정하는 정책(policy), 특정 상태나 행동의 장기적 가치를 추정하는 가치함수(value function) 같은 개념이 핵심을 이룹니다. 알고리즘 계열도 가치함수를 학습하는 방식(Q-러닝 등)과 정책 자체를 직접 최적화하는 방식(정책 경사법, PPO 등)으로 나뉘며, 논문마다 어떤 계열의 알고리즘을 썼는지에 따라 학습 안정성과 표본 효율성 같은 특성이 달라진다는 점을 함께 살펴보면 이해에 도움이 됩니다.
주의할 점
보상을 어떻게 설계하느냐에 따라 에이전트가 개발자의 의도와 다른 방식으로 보상을 "편법으로" 최대화하는 경우가 있어(보상 해킹), 목표를 정확히 반영하는 보상 함수를 설계하는 일이 매우 중요합니다. 강화학습은 정답이 있는 데이터로 학습하는 머신러닝의 일반적인 방식과 달리, 보상이라는 간접적인 신호만으로 학습한다는 점에서 구별됩니다.