정책 경사법 (Policy Gradient)

한 줄 정의: 강화학습에서 에이전트의 행동 방침(정책)을 신경망으로 표현하고, 얻은 보상이 커지는 방향으로 그 정책의 파라미터를 직접 경사상승법으로 조정하는 방법입니다.

쉽게 풀면

게임을 하는 AI를 떠올려 보세요. AI는 "이 상황에서는 이 행동을 할 확률이 몇 %"라는 식의 확률표(정책)를 갖고 있습니다. 한 판을 플레이해서 점수(보상)를 얻으면, "점수가 잘 나온 판에서 했던 행동들의 확률은 더 높이고, 점수가 나빴던 판의 행동 확률은 낮추자"는 식으로 확률표를 조금씩 고쳐 나갑니다. 이렇게 결과(보상)를 보고 정책 자체를 직접 미세조정하는 방식이 정책 경사법입니다. Q러닝처럼 "각 행동의 가치"를 따로 계산하는 대신, 정책을 바로 학습한다는 점이 특징입니다.

왜 중요한가

정책 경사법은 행동의 가짓수가 매우 많거나 연속적인 값을 다뤄야 하는 문제, 예컨대 로봇 제어나 자율주행처럼 행동 공간이 복잡한 영역에서 강력한 힘을 발휘하기 때문에 강화학습 연구에서 핵심적인 위치를 차지합니다. 정책을 직접 학습한다는 아이디어는 이후 액터-크리틱, PPO, TRPO 등 오늘날 널리 쓰이는 강화학습 알고리즘의 이론적 토대가 되었으며, 언어모델을 인간 선호에 맞춰 정렬하는 최신 연구에서도 핵심 도구로 쓰입니다.

논문에서는 이렇게 쓰입니다

"본 연구는 REINFORCE 알고리즘을 기반으로 한 policy gradient 방법을 적용하여 로봇 팔의 연속적 제어 정책을 학습하였다."

이 문장은 "로봇 팔을 어떻게 움직일지 결정하는 정책을 정책 경사법으로 직접 학습시켰다"는 뜻입니다. 특히 행동의 종류가 연속적인 값(관절 각도 등)일 때는 각 행동의 가치를 일일이 계산하기 어려워 정책 경사법 계열 방법이 자주 쓰입니다.

"제안한 방법은 PPO(Proximal Policy Optimization) 기반의 policy gradient 업데이트를 통해 대화형 에이전트의 응답 정책을 인간 피드백에 맞춰 조정하였다."

자연어 처리 분야에서도 언어모델의 응답 방식을 사람이 선호하는 방향으로 조정할 때 정책 경사법 계열 알고리즘이 활용된다.

"게임 환경에서 액터-크리틱 구조의 policy gradient 알고리즘은 기존 가치기반 방법에 비해 더 안정적인 수렴 양상을 보였다."

게임 플레이 에이전트 연구에서 정책 경사법과 가치기반 방법의 학습 안정성을 비교하는 맥락에서도 자주 인용된다.

조금 더 깊게 보면

정책 경사법의 핵심은 기대 보상을 정책 파라미터에 대해 미분한 값을 추정하는 것인데, 이 추정값은 실제로 시도해 본 몇 번의 에피소드로부터 계산되므로 편차(bias)는 적지만 분산(variance)이 큰 편입니다. 이를 줄이기 위해 평균적인 보상 수준을 빼주는 베이스라인이나, 가치함수를 함께 학습해 보상 신호를 다듬는 액터-크리틱 구조가 널리 쓰입니다. 최근에는 TRPO나 PPO처럼 한 번의 업데이트가 정책을 너무 크게 바꾸지 않도록 제약을 두는 방법들이 정책 경사법의 학습 안정성을 개선하는 방향으로 발전해 왔습니다.

주의할 점

정책 경사법은 Q러닝과 달리 확률적으로 행동을 뽑아 학습하기 때문에 분산(variance)이 커서 학습이 불안정할 수 있습니다. 이를 줄이기 위해 베이스라인을 빼거나 액터-크리틱 구조를 함께 쓰는 경우가 많습니다.