벨만 방정식 (Bellman equation)
쉽게 풀면
어떤 자리에 있는 것이 얼마나 좋은지를, 지금 당장 받는 보상과 한 걸음 뒤에 가게 될 자리의 좋음을 합쳐서 정의하는 식입니다. 미래 전체를 한꺼번에 계산하는 대신 한 걸음씩 미루는 구조라서, 무한히 이어지는 문제도 유한한 식으로 다룰 수 있게 됩니다. 강화학습의 거의 모든 알고리즘이 이 식을 얼마나 잘 풀어내느냐의 문제로 환원됩니다.
왜 중요한가
순차적 의사결정 문제에 최적성의 원리를 수학적으로 새겨 넣은 식이기 때문에, 마르코프 결정 과정을 다루는 모든 논의의 기준점이 됩니다. 가치 반복과 정책 반복 같은 고전 알고리즘은 이 식을 직접 반복 적용하는 것이고, Q러닝은 표본으로 이 식을 근사합니다. 동적계획법의 이론적 토대이기도 합니다.
논문에서는 이렇게 쓰입니다
식의 양변이 얼마나 어긋나는지를 줄이는 방향으로 신경망을 훈련시켰다는 뜻입니다.
조금 더 깊게 보면
주어진 정책에 대한 벨만 기대 방정식은 상태가치를 정책과 전이확률에 대한 기댓값으로 표현하고, 벨만 최적 방정식은 다음 상태 가치가 최대가 되는 행동을 택한다는 최대 연산을 포함합니다. 할인율이 1보다 작으면 이 방정식에 대응하는 연산자가 축소 사상이 되어 유일한 고정점이 존재하고, 반복 적용이 그 고정점으로 수렴한다는 것이 보장됩니다. 상태 공간이 너무 커서 표를 만들 수 없을 때는 가치함수를 신경망으로 근사하고 잔차를 줄이는 방식으로 대체합니다.
주의할 점
마르코프 결정 과정이 문제의 구성 요소를 정의하는 틀이라면, 벨만 방정식은 그 틀 안에서 가치가 만족해야 하는 조건을 적은 식입니다. 함수 근사와 부트스트랩, 오프폴리시 학습이 겹치면 수렴 보장이 깨질 수 있다는 점도 유념해야 합니다.