스타인의 역설 (Stein's Paradox)

통계

한 줄 정의: 세 개 이상의 서로 무관한 모수를 동시에 추정할 때, 각각을 따로 최적으로 추정하는 것보다 모든 모수를 하나의 공통된 값 쪽으로 축소시켜(shrinkage) 함께 추정하는 것이 전체적인 추정 오차 면에서 더 우수할 수 있다는, 직관에 반하는 통계학의 발견.

쉽게 풀면

야구선수 세 명의 타율과 어느 나라의 밀 생산량, 그리고 자동차 판매량처럼 서로 아무 관련이 없어 보이는 세 가지 수치를 동시에 추정해야 한다고 해보자. 상식적으로는 각각을 따로따로 가장 좋은 방법(표본평균)으로 추정하는 것이 최선일 것 같지만, 놀랍게도 이 세 값들을 모두 어떤 공통된 값 쪽으로 살짝 끌어당겨(축소) 함께 추정하면 전체적인 오차의 합이 오히려 더 작아진다는 것이 스타인에 의해 증명되었다. 이 역설적인 발견은 편향을 약간 감수하는 대신 분산을 크게 줄이는 능형회귀, 라쏘 등 현대적인 축소추정 기법들의 이론적 뿌리가 되었다.

왜 중요한가

스타인의 역설은 "각 모수를 따로 최선으로 추정하면 전체적으로도 최선"이라는 직관적 믿음이 항상 옳지는 않다는 것을 수학적으로 증명해 통계학계에 큰 충격을 주었습니다. 이 발견은 편향을 조금 감수하는 대신 분산을 크게 줄이는 축소추정(shrinkage estimation)이라는 사고방식의 이론적 토대가 되었으며, 오늘날 널리 쓰이는 능형회귀, 라쏘, 베이지안 계층모형, 다중비교 보정 기법들이 모두 이 통찰을 계승하고 있어 현대 통계학과 머신러닝 방법론의 뿌리를 이해하는 데 자주 인용됩니다.

논문에서는 이렇게 쓰입니다

"스타인의 역설에 기반한 축소추정량이 표본평균보다 전체 위험(risk)이 작음을 시뮬레이션으로 확인하였다."

편향-분산 상충관계를 이용해 여러 모수를 동시에 추정할 때 전체 오차를 줄이는 축소추정 방법의 이론적 근거로 언급된다.

"다수의 학교를 대상으로 한 학업성취도 평균을 추정할 때, 각 학교의 표본평균 대신 전체 평균 쪽으로 축소한 경험적 베이즈 추정량을 사용함으로써 소규모 학교의 추정 오차를 줄일 수 있었다."

교육통계나 다층모형 연구에서는 표본크기가 작은 하위 집단(학교, 병원 등)의 추정치가 극단적으로 튀는 문제를 완화하기 위해 스타인의 역설에서 파생된 경험적 베이즈 축소추정을 자주 활용한다.

"다수의 유전자 발현량을 동시에 추정하는 상황에서 축소추정 기법을 적용하여 개별 유전자별 추정량의 평균제곱오차를 표본평균 대비 유의하게 줄일 수 있었다."

유전체학처럼 수천 개의 모수를 동시에 다루는 고차원 자료 분석에서도 스타인 유형의 축소추정이 개별 추정치의 안정성을 높이는 방법으로 응용된다.

조금 더 깊게 보면

스타인의 역설이 성립하는 핵심 이유는, 개별 모수 각각에 대해서는 표본평균이 최적이더라도 여러 모수를 동시에 하나의 결합된 손실함수(전체 제곱오차의 합)로 평가하면 다른 추정량이 우월할 수 있기 때문입니다. 대표적인 구현체인 제임스-스타인 추정량은 각 표본평균을 전체 평균이나 특정 기준점 쪽으로 일정 비율만큼 끌어당기는 방식으로 작동하며, 축소되는 정도는 모수의 개수와 분산 구조에 따라 달라집니다. 이 원리는 이후 능형회귀나 라쏘처럼 회귀계수를 0 쪽으로 축소하는 정규화(regularization) 기법, 그리고 여러 집단의 평균을 부분적으로 공유된 정보로 보정하는 계층적 베이즈 모형으로 확장되어 널리 쓰이고 있습니다.

주의할 점

스타인의 역설은 세 개 이상의 모수를 동시에 추정하는 경우에만 성립하며, 모수가 하나 또는 두 개일 때는 표본평균이 여전히 최선의 추정량이다.