역강화학습 (Inverse Reinforcement Learning (IRL))
쉽게 풀면
사람이 어떻게 행동하는지를 보고, '이 사람은 대체 무엇을 좋다고 여기며 행동하는 걸까'라는 숨겨진 보상 기준을 거꾸로 알아내는 방법입니다. 전문가가 왜 그렇게 행동했는지 그 속에 숨은 보상 기준을 거꾸로 알아내는 방법입니다. 능숙한 운전자가 왜 그 순간에 브레이크를 밟았는지, 그 판단 기준 자체를 관찰만으로 알아내려는 시도입니다.
왜 중요한가
전문가의 행동 데이터에서 그 행동을 설명하는 보상 함수를 역으로 추정하는 방법으로, 사람이 원하는 바를 수식으로 적기 어려운 운전 스타일이나 사회적 내비게이션 규범을 로봇에 옮기는 데 쓰입니다. 보상을 얻으면 새로운 상황에도 일반화할 수 있다는 점이 단순 모방학습과 다릅니다.
논문에서는 이렇게 쓰입니다
행동 자체를 그대로 따라하는 모방학습과 달리, 그 행동 뒤에 숨은 목적(보상)을 먼저 알아내어 다양한 상황에도 일반화할 수 있게 한다는 차이가 있습니다.
사람마다 다르게 운전하는 이유를 그 사람의 숨은 선호로 보고, 그 선호를 데이터로부터 역으로 계산해 비슷한 주행을 흉내 냈다는 뜻입니다.
조금 더 깊게 보면
같은 행동을 설명하는 보상 함수는 무수히 많아 문제가 본질적으로 불량 조건이며, 최대 엔트로피 같은 추가 가정으로 해를 고릅니다. 내부에서 강화학습을 반복해야 하므로 계산이 매우 무겁고, 시연자가 최적으로 행동했다는 가정이 실제 사람 데이터에서는 잘 맞지 않아 편향된 보상을 얻을 위험이 있습니다. 역강화학습은 전문가의 시연이 최적이라고 가정하고 그 시연을 최적으로 만드는 보상 함수를 역산하는데, 동일한 시연 행동을 설명하는 보상 함수가 여러 개 존재할 수 있는 근본적인 비유일성 문제가 있어 이를 좁히기 위한 추가 가정(최대 엔트로피 등)이 함께 쓰입니다.
주의할 점
동일한 시연 행동을 설명하는 보상 함수가 여러 개 존재할 수 있는 근본적인 비유일성(ill-posedness) 문제가 있습니다.
모방학습이 행동 자체를 흉내 내는 데 그치는 반면, 역강화학습은 그 행동의 이유(보상)를 복원하려 하므로 계산 비용이 훨씬 크다는 차이가 있습니다.