모방학습 (Imitation Learning)
한 줄 정의: 전문가(인간 또는 다른 정책)가 수행한 시연 데이터로부터 로봇이 원하는 행동 정책을 직접 학습하는 기법.
쉽게 풀면
로봇에게 보상 규칙을 일일이 설계하지 않고, 사람이 시범을 보여주면 그것을 흉내내며 배우게 하는 방법입니다.
논문에서는 이렇게 쓰입니다
모방 학습은 전문가 시연 데이터 {(s,a)}로부터 상태를 행동에 매핑하는 정책 π를 지도학습 방식으로 직접 학습하는 행동 복제(behavior cloning) 접근을 포함한다.
전문가가 어떤 상황에서 어떤 행동을 했는지의 기록을 가지고, 비슷한 상황이 오면 같은 행동을 하도록 정책을 학습시킨다는 뜻입니다.
주의할 점
훈련 데이터에 없던 상태로 벗어나면 오차가 누적되어 성능이 급격히 저하되는 공변량 변화(covariate shift) 문제가 있습니다.