근위정책최적화 (Proximal Policy Optimization (PPO))
쉽게 풀면
정책을 한 번에 너무 크게 바꾸지 않도록 제한을 걸어, 학습이 갑자기 무너지지 않으면서도 꾸준히 좋아지게 만드는 방법입니다. 정책을 한 번에 너무 많이 바꾸지 않도록 브레이크를 걸어, 학습이 급격히 나빠지는 것을 막으면서도 안정적으로 개선해 나가는 강화학습 방법입니다. 공부를 할 때 한 번에 너무 많은 내용을 바꿔 익히려 하면 오히려 실력이 나빠질 수 있는 것처럼, 매 학습 단계에서 변화의 폭을 적당히 제한하는 방법입니다. 너무 큰 변화 폭은 잘라내고 적당한 범위 안에서만 조금씩 개선해 나가도록 안전장치를 걸어 둔 셈입니다.
왜 중요한가
PPO는 구현이 비교적 단순하면서도 안정적인 학습 성능을 보여, 로봇 보행 제어나 매니퓰레이션 정책 학습 등 다양한 강화학습 기반 로봇 연구에서 표준적으로 채택되는 알고리즘입니다.
논문에서는 이렇게 쓰입니다
새로 학습된 정책이 이전 정책과 얼마나 다른 행동을 선호하는지의 비율을 일정 범위 안으로 잘라내어, 급격한 정책 변화로 인한 성능 붕괴를 막는다는 뜻입니다.
근접정책최적화는 정책 경사법 계열 알고리즘 중 하나로, 한 번의 갱신이 이전 정책에서 지나치게 벗어나지 않도록 목적함수를 제약함으로써 안정성과 구현의 단순함을 함께 추구한다.
조금 더 깊게 보면
PPO가 안정적이라고 해서 항상 최적의 샘플 효율을 내는 것은 아니며, 문제 특성에 따라 다른 정책 경사 알고리즘이 더 적합한 경우도 있어 무조건적인 선택은 지양해야 합니다. PPO는 정책을 업데이트할 때 이전 정책과 새 정책의 확률 비율을 특정 범위로 잘라내는(clipping) 방식으로 한 번에 너무 크게 바뀌는 것을 막는데, 이 단순한 장치만으로도 이전의 신뢰 영역 정책 최적화(TRPO)에 준하는 안정성을 훨씬 적은 계산으로 얻습니다.
주의할 점
구현이 비교적 단순하고 안정적이지만, 클리핑 범위 등 하이퍼파라미터에 따라 성능 편차가 클 수 있습니다.
클리핑 범위나 학습률 같은 하이퍼파라미터에 성능이 민감하게 반응해, 문제마다 별도의 튜닝이 필요한 경우가 많습니다.