불편추정량 (Unbiased Estimator)

한 줄 정의: 같은 방식으로 표본을 뽑아 값을 추정하는 일을 무한히 반복했을 때, 그 추정값들의 평균이 실제 모집단 값과 정확히 일치하는 추정 방법입니다.

쉽게 풀면

과녁에 화살을 여러 번 쏘는 상황을 떠올려 보세요. 화살들이 과녁 중심을 기준으로 이리저리 흩어져 있더라도, 그 화살들의 "평균 위치"가 정확히 과녁 중심이라면 조준(추정 방법) 자체에는 치우침(편향)이 없다고 할 수 있습니다. 통계에서도 마찬가지입니다. 표본을 뽑아 모집단의 평균이나 분산 같은 값을 추정할 때, 매번 다른 표본이 뽑히므로 추정값도 매번 조금씩 달라집니다. 하지만 이 추정 과정을 무한히 반복했을 때 추정값들의 평균이 실제 모집단 값과 정확히 같아진다면, 그 추정 방법을 "불편추정량"이라고 부릅니다. 예를 들어 표본평균은 모평균의 대표적인 불편추정량이고, 표본분산을 구할 때 n이 아니라 n-1로 나누는 이유도 그렇게 해야 분산 추정량이 편향되지 않기 때문입니다.

왜 중요한가

불편성은 새로운 추정량을 제안하는 통계·계량경제·머신러닝 논문에서 가장 먼저 확인하는 이론적 성질 중 하나입니다. 추정량이 편향되어 있으면 표본을 아무리 늘려도 체계적으로 틀린 값에 수렴할 수 있기 때문에, 정책 효과 추정이나 실험 결과 해석처럼 신뢰할 수 있는 결론이 중요한 분야에서는 불편성 증명이 방법론의 타당성을 뒷받침하는 근거로 쓰입니다. 또한 불편성과 분산·효율성을 함께 논의하는 과정에서 더 나은 추정 방법을 개발하는 동기가 마련됩니다.

논문에서는 이렇게 쓰입니다

"제안된 추정량이 불편추정량임을 증명하였으며, 시뮬레이션 결과 표본 크기가 커짐에 따라 참값에 안정적으로 수렴하였다."

이 문장은 새로 제안한 계산 방법으로 얻은 추정값들이, 반복해서 계산했을 때 평균적으로 실제 참값을 정확히 맞힌다는 것(불편성)과, 표본이 많아질수록 그 추정값이 참값에 더 가까워진다는 것(일치성)을 함께 확인했다는 뜻입니다.

"패널 데이터 분석에서 고정효과 추정량은 관측되지 않은 개체 특성이 시간에 따라 변하지 않는다는 가정 하에 불편추정량이 됨을 보였다."

계량경제학에서 특정 가정이 성립할 때에만 추정량의 불편성이 보장된다는 점을 밝히고 있으며, 가정이 깨지면 불편성도 함께 깨질 수 있음을 시사합니다.

"베이즈 추정량은 사전분포의 영향으로 유한 표본에서는 편향을 가지지만, 평균제곱오차 측면에서는 불편추정량보다 우수한 성능을 보였다."

편향이 있는 추정량이라도 다른 기준(평균제곱오차)에서는 불편추정량보다 실용적으로 더 나을 수 있다는 트레이드오프를 보여주는 예문입니다.

조금 더 깊게 보면

불편성 하나만으로 추정량의 좋고 나쁨을 판단하기는 어렵기 때문에, 논문에서는 흔히 평균제곱오차(MSE)처럼 편향과 분산을 동시에 반영하는 지표를 함께 살펴봅니다. 평균제곱오차는 대체로 분산과 편향의 제곱을 더한 형태로 이해되며, 편향을 조금 허용하더라도 분산을 크게 줄일 수 있다면 전체 오차가 더 작아지는 경우가 있습니다. 이런 이유로 능형회귀(ridge regression)나 축소추정량(shrinkage estimator)처럼 의도적으로 약간의 편향을 도입해 분산을 낮추는 기법들이 실제 연구에서 자주 등장합니다.

주의할 점

편향이 없다(불편추정량)는 것과 추정값이 매번 참값에 가깝게 나온다는 것은 다른 이야기입니다. 불편추정량이라도 표본마다 흩어지는 정도(분산)가 크면 개별 추정값은 참값과 크게 어긋날 수 있습니다. 그래서 실제로는 편향뿐 아니라 표준오차처럼 흩어짐 정도를 함께 살펴봐야 하며, 때로는 약간의 편향을 감수하더라도 분산이 훨씬 작은 추정량을 선택하는 것이 더 나을 수 있습니다.