M-추정 (M-Estimation)
쉽게 풀면
최대우도추정, 최소제곱법 등 겉보기에 다른 여러 추정 방법들이 사실은 모두 '어떤 함수의 합을 최소(또는 최대)로 만드는 값을 찾는다'는 공통된 구조를 가지고 있다는 것을 통합적으로 다루는 이론이 M-추정이다. 이 일반적인 틀 안에서는 각 추정 방법의 일치성이나 점근정규성 같은 성질을 개별적으로 증명하지 않고도 한꺼번에 논의할 수 있다는 장점이 있다. 로버스트 통계에서 이상치의 영향을 줄이는 추정량을 설계할 때도 이 틀이 널리 활용된다.
왜 중요한가
새로운 통계적 추정 방법을 제안할 때마다 일치성이나 점근정규성 같은 이론적 성질을 처음부터 새로 증명하는 것은 번거롭고 반복적인 작업인데, M-추정 이론은 이런 성질들을 일반적인 조건 아래서 한 번에 다루는 통일된 틀을 제공합니다. 이 덕분에 계량경제학, 생물통계학, 로버스트 통계 등에서 새로운 추정량을 제안하는 논문은 흔히 자신의 방법이 M-추정 틀에 속함을 보인 뒤 기존에 확립된 일반 이론의 결과를 그대로 인용하는 방식으로 이론적 정당성을 효율적으로 확보합니다.
논문에서는 이렇게 쓰입니다
새로운 추정 방법을 제안할 때 그 방법의 이론적 성질(일치성, 점근정규성)을 일반적인 M-추정 이론의 틀 안에서 증명하는 데 사용된다.
로버스트 회귀분석 연구에서는 이상치의 영향을 줄이기 위해 특정한 손실함수를 사용하는 M-추정량을 설계하고 그 성능을 기존 방법과 비교합니다.
계량경제학 연구에서는 복잡한 모형의 모수를 추정할 때 최대우도법 대신 더 일반적인 M-추정 프레임워크를 이용해 추정량을 정의하고 그 통계적 성질을 논증합니다.
조금 더 깊게 보면
M-추정량은 흔히 추정함수(estimating function) 또는 그 도함수인 psi 함수의 합을 0으로 만드는 값으로 정의되며, 최대우도추정은 로그우도함수의 도함수를, 최소제곱법은 잔차제곱합의 도함수를 psi 함수로 삼는 특수한 경우로 볼 수 있습니다. 로버스트 통계에서는 후버(Huber) 함수나 튜키(Tukey)의 바이웨이트(biweight) 함수처럼 이상치의 영향을 제한하도록 설계된 psi 함수를 사용해, 극단값 하나가 추정 결과를 크게 왜곡시키지 않도록 만듭니다. 이런 추정량의 이상치에 대한 민감도는 영향함수(influence function)로 정량화하는 것이 일반적입니다.
주의할 점
M-추정 이론은 상당한 수학적 정칙조건(regularity condition)을 요구하므로, 모든 추정 문제에 곧바로 적용할 수 있는 것은 아니다.