마르코프 결정 과정 (Markov Decision Process)
쉽게 풀면
미로 속 로봇을 생각해봅시다. 로봇은 지금 위치(상태)에서 상하좌우 중 하나(행동)를 고를 수 있고, 그 결과 다음 위치로 이동하며 점수(보상)를 얻거나 잃습니다. 중요한 점은, 로봇이 다음에 어디로 갈지는 "지금까지 어떻게 왔는지"가 아니라 "지금 어디에 있고 어떤 행동을 골랐는지"에만 달려 있다는 것입니다. 이렇게 과거를 몰라도 현재 상태만 알면 미래를 확률적으로 예측할 수 있는 성질을 마르코프 성질이라고 하고, 이 성질을 이용해 "상태·행동·보상·전이확률"의 조합으로 의사결정 문제를 정리한 것이 마르코프 결정 과정(MDP)입니다. 강화학습은 결국 이 MDP 안에서 보상을 최대로 만드는 행동 전략(정책)을 찾는 문제입니다.
왜 중요한가
MDP는 강화학습 알고리즘이 딛고 서는 공통의 수학적 기반이기 때문에, 로보틱스, 게임 AI, 자원 관리, 임상 치료 전략 최적화 등 순차적 의사결정이 필요한 거의 모든 응용 논문에서 문제 정의의 출발점으로 등장합니다. 어떤 문제를 MDP로 정식화할 수 있으면 Q러닝이나 정책 경사법 같은 이미 검증된 강화학습 알고리즘 도구상자를 그대로 적용할 수 있기 때문에, 새로운 응용 분야의 문제를 MDP 형태로 옮기는 작업 자체가 연구의 중요한 기여로 인정받기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 다루는 문제를 "지금 상태에서 행동을 고르면 보상과 다음 상태가 확률적으로 정해진다"는 표준 수학 틀에 맞춰 정리했다는 뜻입니다. 이렇게 문제를 MDP로 정의해두면 이후 Q러닝이나 정책 경사법 같은 강화학습 기법을 적용할 수 있게 됩니다.
의료 의사결정 연구에서 환자의 상태 변화와 치료 선택을 MDP로 정리하여, 순간의 판단이 아니라 장기적인 결과를 고려한 치료 전략을 찾으려 했다는 뜻입니다.
조금 더 깊게 보면
MDP는 상태, 행동, 전이확률, 보상함수, 그리고 미래 보상을 현재 가치로 얼마나 할인할지 정하는 할인율(discount factor)로 구성되며, 이 다섯 요소를 정의하면 벨만 방정식을 통해 각 상태의 가치를 계산할 수 있습니다. 최적 정책을 구하는 방법은 크게 상태와 전이확률을 미리 알고 있다는 가정하에 동적계획법으로 정확히 푸는 방식과, 환경을 모르는 상태에서 시행착오를 통해 학습하는 강화학습 방식으로 나뉩니다. 현실 문제에서는 상태를 완전히 관측하지 못하는 경우가 많아, 이런 상황을 다루는 부분관측 마르코프 결정 과정(POMDP)이 확장된 모델로 함께 연구됩니다.
주의할 점
MDP는 어디까지나 "이론적인 틀"이지 특정 알고리즘이 아닙니다. 현실 문제에서는 상태를 완전히 관측할 수 없는 경우가 많은데, 이런 경우는 부분관측 마르코프 결정 과정(POMDP)이라는 확장된 모델을 따로 씁니다. 또한 MDP를 정의했다고 최적 정책이 자동으로 나오는 것은 아니며, 이를 실제로 학습하는 과정에서 보상예측오차 같은 신호가 활용됩니다.