라오-블랙웰 정리 (Rao-Blackwell Theorem)

한 줄 정의: 불편추정량을 충분통계량에 대해 조건부 기댓값을 취함으로써, 원래보다 분산이 같거나 더 작은 새로운 불편추정량을 항상 얻을 수 있음을 보장하는 정리.

쉽게 풀면

어떤 불편추정량을 가지고 있더라도, 그것을 충분통계량을 기준으로 '평균 내는' 과정을 거치면 편향은 그대로 유지하면서 분산은 절대 더 나빠지지 않는 개선된 추정량을 얻을 수 있다는 것을 보장해주는 정리다. 즉 충분통계량이 존재한다면, 그것을 활용하지 않은 추정량은 항상 개선의 여지가 있다는 뜻이다. 이 정리는 좋은 추정량을 체계적으로 구축해나가는 방법을 제공하며, 레만-셰페 정리와 함께 최적 불편추정량 이론의 핵심을 이룬다.

왜 중요한가

추정이론에서 '더 좋은 추정량을 어떻게 체계적으로 찾을 것인가'는 핵심 질문인데, 라오-블랙웰 정리는 충분통계량이라는 정보를 활용하기만 하면 기존 추정량을 절대 나쁘게 만들지 않으면서 개선할 수 있음을 수학적으로 보장합니다. 이 때문에 균일최소분산불편추정량(UMVUE)을 구성하는 표준 절차의 출발점으로 다뤄지며, 몬테카를로 시뮬레이션에서 분산을 줄이는 조건부 몬테카를로 기법의 이론적 근거로도 응용됩니다.

논문에서는 이렇게 쓰입니다

"라오-블랙웰 정리를 적용하여 초기 추정량을 충분통계량에 대해 조건부화함으로써 분산을 줄인 개선된 추정량을 얻었다."

초기에 구한 불편추정량을 충분통계량을 이용해 체계적으로 개선하는 이론적 절차로 사용된다.

"몬테카를로 시뮬레이션에서 라오-블랙웰화를 적용한 추정량이 표준 몬테카를로 추정량보다 분산이 낮음을 확인하였다."

시뮬레이션 기반 추정에서 분산 감소 기법으로 라오-블랙웰 정리를 응용한 사례를 보여줍니다.

"베이지안 추정에서 사후분포의 완비충분통계량을 이용해 라오-블랙웰화된 추정량을 도출하고 그 효율성을 이론적으로 뒷받침하였다."

베이지안 통계 논문에서 사후 추정량의 효율성을 논증하는 데 이 정리를 응용하는 서술 방식입니다.

조금 더 깊게 보면

라오-블랙웰 정리 자체는 분산이 '더 나빠지지 않는다'는 것만 보장하며, 그렇게 얻은 추정량이 이론상 가능한 가장 좋은 추정량(균일최소분산불편추정량)인지까지는 말해주지 않습니다. 이를 확정하려면 충분통계량이 완비성(completeness)까지 만족해야 하며, 이 완비충분통계량 조건과 라오-블랙웰 정리를 결합한 것이 레만-셰페 정리입니다. 실제 적용에서는 조건부기댓값 계산이 항상 쉬운 것은 아니어서, 닫힌 형태의 해가 없을 경우 시뮬레이션 기반으로 근사하는 방법도 함께 논의됩니다.

주의할 점

라오-블랙웰화로 얻은 추정량이 반드시 가장 좋은 추정량(균일최소분산불편추정량)이 되는 것은 아니며, 이를 보장하려면 충분통계량이 완비성(completeness)까지 만족해야 한다.