보상형성 (Reward Shaping)
쉽게 풀면
목표를 달성했을 때만 보상을 주는 대신, 목표에 가까워질 때마다 조금씩 보상을 줘서 로봇이 더 빨리 배우도록 돕는 방법입니다. 최종 목표에 대한 보상만 주면 학습이 너무 느리므로, 중간 단계마다 작은 보상을 추가로 주어 학습 속도를 높이는 기법입니다. 게임에서 최종 승리 점수만 주어지면 배우기 어렵지만, 중간중간 작은 점수를 더해 주면 훨씬 빠르게 요령을 익힐 수 있는 것과 비슷합니다.
왜 중요한가
보상이 매우 드물게 주어지는 로봇 작업(예: 최종 목표 도달 시에만 보상)에서 중간 보상을 추가하면 학습 속도를 크게 높일 수 있어 실용적인 강화학습 설계 기법으로 활용됩니다. 복잡한 로봇 작업은 최종 성공 여부만으로는 학습 신호가 너무 드물게 주어져, 적절한 중간 보상 없이는 학습 자체가 사실상 진행되지 않는 경우가 많습니다.
논문에서는 이렇게 쓰입니다
추가한 보상이 특정 수학적 조건(포텐셜 기반)을 만족하면, 학습을 빠르게 하면서도 원래 목표로 하던 최적 행동이 왜곡되지 않는다는 뜻입니다.
다만 추가된 중간 보상이 원래 문제의 최적 정책을 바꾸지 않도록 설계하는 것이 중요하며, 이를 이론적으로 보장하는 조건으로 잠재함수 기반 형성 기법이 널리 활용된다. 잘못 설계된 형성 보상은 에이전트가 본래 목표 대신 중간 보상 자체를 최대화하는 방향으로 학습되는 부작용을 낳을 수 있어 주의가 필요하다.
조금 더 깊게 보면
중간 보상을 잘못 설계하면 로봇이 원래 목표가 아닌 보상 신호 자체를 이용하는 의도치 않은 행동을 학습할 수 있어, 신중한 설계와 검증이 필요합니다. 임의로 보상을 추가하면 최적 정책 자체가 원래 문제와 달라질 위험이 있어, 원래의 최적 정책을 보존하는 조건을 만족하는 형태(잠재 함수 기반 보상 형성)로 설계하는 이론적 틀이 제안되어 있습니다.
주의할 점
잘못 설계된 보상 형성은 로봇이 원래 목표와 다른 편법적 행동을 학습하는 보상 해킹(reward hacking) 문제를 일으킬 수 있습니다. 중간 보상을 지나치게 세밀하게 설계하면 로봇이 최종 목표 대신 중간 보상을 얻는 데만 몰두하는 편법적 행동을 학습할 위험이 있습니다.