추정량의 일치성 (Consistency of an Estimator)
쉽게 풀면
표본이 하나둘 늘어날수록 추정치가 점점 더 참값에 가까워지고, 표본이 무한히 많아지면 결국 참값과 사실상 같아지는 성질을 일치성이라 한다. 불편성이 '평균적으로 맞다'는 개념이라면, 일치성은 '표본이 많아지면 확실히 맞아진다'는 개념으로 서로 다른 성질이다. 실제로 편향이 있더라도 표본이 커지면서 편향이 사라지는 추정량은 일치추정량이 될 수 있다.
왜 중요한가
새로운 추정 방법을 제시하는 논문은 대부분 그 방법이 최소한의 이론적 신뢰성을 갖췄음을 보여야 하는데, 일치성은 그중 가장 기본적인 요건으로 다뤄진다. 계량경제학이나 통계학 논문에서는 회귀계수 추정량, 최대우도추정량, GMM 추정량 등 새로 제안되거나 변형된 추정 절차의 타당성을 논증할 때 거의 예외 없이 일치성 증명이 포함된다. 또한 머신러닝의 통계적 학습이론에서도 학습 알고리즘이 데이터가 많아질수록 참 모형에 수렴하는지를 다루는 논의가 일치성 개념과 직접 연결된다. 결국 일치성은 추정량 자체의 신뢰도뿐 아니라 후속 연구에서 그 추정량을 인용하고 활용할 수 있는 근거를 제공한다.
논문에서는 이렇게 쓰입니다
새로운 추정 방법을 제안하는 논문에서 그 방법의 이론적 타당성을 뒷받침하는 성질로 증명된다.
계량경제학 논문에서 내생성 문제를 다루는 추정 기법이 표본이 커질수록 편향 없는 참값으로 수렴함을 증명할 때 쓰이는 표현이다.
이론적으로 증명한 일치성을 시뮬레이션 실험으로 뒷받침할 때 사용되는 문장으로, 통계 방법론 논문에서 흔히 등장한다.
조금 더 깊게 보면
일치성에는 확률수렴을 기준으로 하는 약한 일치성(weak consistency)과 거의 확실한 수렴을 기준으로 하는 강한 일치성(strong consistency)이 구분되며, 논문에서 어느 쪽을 증명했는지 명시하는 경우가 많다. 실제 증명 과정에서는 추정량의 평균제곱오차나 분산이 표본 크기가 커짐에 따라 0으로 수렴함을 보이는 방식이 자주 쓰이는데, 이는 불편성과 분산의 소멸을 함께 활용하는 접근이다. 또한 일치성 자체는 수렴의 '속도'에 대해서는 말해주지 않기 때문에, 논문에서는 수렴 속도를 나타내는 점근 정규성이나 수렴률(rate of convergence)을 함께 다루는 경우가 많다.
주의할 점
일치성은 표본이 '충분히 클 때'의 성질(점근적 성질)이므로, 표본 크기가 작을 때의 성능을 보장해주지는 않는다.