모델기반강화학습 (Model-based Reinforcement Learning)
쉽게 풀면
먼저 '이 행동을 하면 어떤 일이 일어날지'에 대한 세상의 모형을 배우고, 그 모형으로 머릿속에서 미리 시뮬레이션해보며 좋은 행동을 찾는 방법입니다. 실제로 매번 시도해 보는 대신, 환경이 어떻게 반응할지 미리 예측하는 가상의 모형을 만들어 그 안에서 미리 연습하는 강화학습 방식입니다.
왜 중요한가
환경 동역학 모델을 학습하고 그 모델 안에서 계획이나 시뮬레이션으로 정책을 개선하는 방식으로, 실제 로봇에서 시행착오를 수백 배 줄일 수 있어 하드웨어 마모와 안전이 문제인 실기 학습에 특히 적합합니다. 모델 없는 방법의 샘플 비효율을 해결하는 주요 노선입니다.
논문에서는 이렇게 쓰입니다
실제 환경에서 매번 시행착오를 겪는 대신, 학습한 모델 안에서 가상으로 여러 행동을 시도해봄으로써 실제 경험을 절약할 수 있다는 뜻입니다.
이 문장은 환경이 어떻게 반응할지 미리 모델로 예측하는 방식이 시행착오만 반복하는 방식보다 더 빨리 학습한다는 것을 보여줍니다.
조금 더 깊게 보면
학습된 모델의 오차를 정책이 악용해 모델 안에서만 잘 되는 해를 찾는 문제가 본질적이며, 모델 불확실성을 추정해 신뢰 구간 안에서만 계획하는 것이 핵심 기법입니다. 접촉처럼 불연속적인 동역학은 모델 학습이 어려워 조작 과제에서 모델 없는 방법보다 뒤처지는 경우가 있고, 모델을 얼마나 멀리 롤아웃할지가 성능을 좌우합니다. 환경의 동역학을 신경망 등으로 학습한 뒤 이 모델 안에서 가상의 시행착오를 반복하는 방식이어서, 모델이 없는 강화학습보다 대체로 실제 환경과의 상호작용 횟수(샘플 효율)가 훨씬 적어도 됩니다.
주의할 점
학습된 모델이 실제 환경과 다를 경우 그 오차가 계획 단계에서 누적되어 잘못된 정책으로 이어질 위험이 있습니다.
학습된 모델이 실제 동역학과 조금만 어긋나도 그 오차가 계획 과정에서 누적되어, 모델을 신뢰한 만큼 정책이 실제 환경에서는 성능이 떨어지는 모델 편향 문제가 생길 수 있습니다.