모방학습 (Imitation Learning)
쉽게 풀면
로봇에게 보상 규칙을 일일이 설계하지 않고, 사람이 시범을 보여주면 그것을 흉내내며 배우게 하는 방법입니다. 사람이 직접 시범을 보여주면 로봇이 그 시범을 관찰하고 따라 하며 행동을 익히는 학습 방식입니다.
왜 중요한가
사람의 시연 데이터로 정책을 학습하면 보상 함수 설계 없이 복잡한 조작 기술을 로봇에 옮길 수 있어, 최근 대규모 원격조작 데이터 기반 로봇 학습의 핵심 방법론이 되었습니다. 의류 접기, 요리, 조립처럼 보상을 정의하기 어려운 작업에서 강화학습보다 실용적입니다. 보상 함수를 일일이 설계하기 어려운 복잡한 작업(설거지, 옷 개기 등)에서도, 사람의 시범만 있으면 비교적 빠르게 로봇이 해당 작업을 익히도록 할 수 있습니다.
논문에서는 이렇게 쓰입니다
전문가가 어떤 상황에서 어떤 행동을 했는지의 기록을 가지고, 비슷한 상황이 오면 같은 행동을 하도록 정책을 학습시킨다는 뜻입니다.
보상함수 설계 없이 시연 데이터를 직접 활용해 정책을 학습하는 모방학습의 특징을 보여주는 예이다.
조금 더 깊게 보면
가장 단순한 행동 복제는 시연 분포에서 조금 벗어나면 오차가 누적되어 복구되지 않는 복합 오차 문제가 있어, 시연자가 교정하는 대화형 방법이나 다중 모드 분포를 다루는 생성 모델 정책이 나왔습니다. 시연이 많을수록 좋다는 인식과 달리, 시연 품질의 일관성과 관측 다양성이 시연 수보다 성능에 더 크게 영향을 미칩니다. 가장 단순한 형태인 행동 복제(behavior cloning)는 시연 데이터의 상태-행동 쌍을 그대로 지도학습으로 흉내 내는데, 학습된 정책이 시연에 없던 상태로 조금이라도 벗어나면 오차가 누적되어 점점 더 크게 어긋나는 분포 변화 문제가 대표적인 약점입니다.
주의할 점
훈련 데이터에 없던 상태로 벗어나면 오차가 누적되어 성능이 급격히 저하되는 공변량 변화(covariate shift) 문제가 있습니다.
시연자의 실수나 비효율적인 습관까지 그대로 모방하게 되므로, 시연 데이터의 품질이 학습된 정책의 상한선을 사실상 결정합니다.