에르고딕 정리 (Ergodic Theorem)
쉽게 풀면
한 사람의 하루 행동을 오랫동안 관찰한 평균이, 매우 많은 사람들을 동시에 관찰한 평균과 결국 같아진다는 것을 수학적으로 보장해주는 정리다. 이 정리 덕분에 여러 개의 독립적인 표본을 모으는 대신 하나의 긴 시계열 자료만으로도 모집단의 특성을 추정할 수 있게 된다. MCMC 방법이 하나의 마르코프 연쇄를 충분히 길게 돌리는 것만으로 목표분포에 대한 정보를 얻을 수 있다는 이론적 근거도 바로 이 에르고딕 정리에서 나온다.
왜 중요한가
에르고딕 정리는 여러 번의 독립 시행을 반복하기 어려운 상황에서 단 하나의 긴 관측 경로만으로 통계적 결론을 내릴 수 있게 해주는 이론적 근거이기 때문에, 베이지안 통계의 MCMC 방법론부터 시계열 분석, 신호처리, 강화학습의 이론적 수렴성 논의에 이르기까지 폭넓게 인용됩니다. 반복 실험이 사실상 불가능한 자연현상이나 사회현상을 다루는 연구에서도 시간 평균으로 모집단 특성을 대신 추정할 수 있는 근거로 자주 등장합니다.
논문에서는 이렇게 쓰입니다
시계열 자료나 MCMC 표본에서 하나의 긴 관측 경로만으로 모집단(또는 목표분포) 전체의 특성을 추정할 수 있는 이론적 근거로 사용된다.
강화학습 이론 연구에서 에이전트가 충분히 오래 탐색하면 최적 정책에 대한 추정치가 수렴함을 보이는 근거로 쓰이는 표현이다.
기후과학이나 환경통계 연구에서 반복 관측이 어려운 자연현상을 하나의 긴 시계열로 대신 추정할 때 등장하는 표현이다.
조금 더 깊게 보면
에르고딕 정리는 크게 시간 평균의 존재를 보장하는 버코프의 개별 에르고딕 정리(pointwise ergodic theorem)와 평균적인 수렴을 다루는 폰 노이만의 평균 에르고딕 정리(mean ergodic theorem)로 나뉘며, 실제로는 확률과정이 정상성(stationarity)을 만족하는지, 그리고 확률과정을 이루는 시프트 변환이 더는 쪼갤 수 없는(ergodic, 즉 불변집합이 자명한 것뿐인) 성질을 갖는지를 함께 확인해야 이 정리를 적용할 수 있습니다. MCMC에서는 이 성질이 연쇄의 기약성(irreducibility)과 비주기성(aperiodicity) 조건으로 구체화되어, 표본이 초기값에 의존하지 않고 목표분포로 수렴하는지를 판단하는 실질적 기준으로 쓰입니다.
주의할 점
모든 확률과정이 에르고딕성을 만족하는 것은 아니며, 이 성질이 성립하지 않으면 긴 시간 관찰만으로는 전체 분포의 특성을 정확히 파악할 수 없다.