제프리스 사전분포 (Jeffreys Prior)

한 줄 정의: 피셔정보량의 제곱근에 비례하도록 정의되어, 모수를 어떻게 변환(재모수화)하더라도 형태가 일관되게 유지되는 객관적 사전분포.

쉽게 풀면

베이지안 분석에서 사전 지식이 거의 없을 때 '무정보적인' 사전분포를 쓰고 싶은데, 단순히 균등분포를 쓰면 모수를 다른 척도로 바꾸었을 때(예: 확률 대신 오즈로 표현) 더 이상 무정보적이지 않게 되는 문제가 생긴다. 제프리스 사전분포는 피셔정보량을 이용해 이 문제를 해결한 것으로, 모수를 어떤 방식으로 변환해서 표현하더라도 일관된 형태를 유지하는 특별한 성질을 가진다. 그래서 연구자의 주관이 최대한 배제된 '객관적 베이지안 분석'의 출발점으로 자주 언급된다.

왜 중요한가

베이지안 통계에서는 사전분포를 어떻게 설정하느냐에 따라 결과가 달라질 수 있다는 비판을 받아왔는데, 제프리스 사전분포는 이런 우려를 줄이기 위해 연구자의 주관을 최소화한 원칙적인 기준을 제시한다는 점에서 중요하게 다뤄집니다. 특히 사전 지식이 거의 없는 상황에서 베이지안 분석을 처음 시도하는 연구에서 사전분포 선택의 자의성을 정당화하는 근거로 자주 인용되며, 서로 다른 방식으로 모수를 표현해도 결론이 흔들리지 않는다는 성질(재모수화 불변성) 덕분에 이론적으로도 견고한 출발점으로 평가받습니다.

논문에서는 이렇게 쓰입니다

"무정보적 사전분포로서 제프리스 사전분포를 채택하여 사전분포의 선택에 따른 민감도를 최소화하였다."

사전 정보가 부족하거나 연구자의 주관적 판단을 최소화하고 싶은 베이지안 분석에서 객관적인 사전분포로 사용된다.

"이항모형의 성공확률에 대해 제프리스 사전분포(Beta(0.5, 0.5))를 적용하여 사후분포를 도출한 결과, 사건 발생이 드문 자료에서도 안정적인 추정치를 얻을 수 있었다."

생물통계나 임상연구에서 발생률처럼 드문 사건의 확률을 추정할 때, 극단적인 추정을 방지하는 제프리스 사전분포가 실용적으로 쓰인다는 것을 보여줍니다.

"분산 모수에 대해 제프리스 사전분포를 사용한 베이지안 회귀모형을 적합한 결과, 최대우도추정치와 유사하지만 소표본에서 더 안정적인 사후평균을 얻었다."

계량경제·통계방법론 연구에서는 제프리스 사전분포가 전통적인 최대우도추정과 결과가 비슷하면서도 표본이 작을 때 더 안정적인 추정을 제공한다는 점이 언급된다는 의미입니다.

조금 더 깊게 보면

제프리스 사전분포는 모수가 하나뿐인 단순한 모형에서는 재모수화 불변성이라는 이론적 장점이 잘 성립하지만, 모수가 여러 개인 다변량 모형에서는 이 방식을 그대로 적용하면 종종 사후분포가 이상하게 왜곡되는 문제가 보고되어 있어, 실제로는 각 모수에 개별적으로 적용하는 방식이 더 흔히 쓰입니다. 또한 일부 모형에서는 이 사전분포를 전체 구간에서 적분하면 무한대가 되는 "부적정 사전분포"가 되기 때문에, 이 경우 사후분포 자체는 여전히 잘 정의되는지(적정한지) 별도로 확인하는 절차가 필요합니다. 이런 이유로 실무에서는 제프리스 사전분포와 함께 약한 정보를 담은 사전분포(weakly informative prior)를 비교하며 결과의 민감도를 점검하는 경우가 많습니다.

주의할 점

제프리스 사전분포는 종종 부적정 사전분포(사전분포 전체를 적분하면 무한대가 되는 경우)가 될 수 있어, 이 경우 사후분포가 적절히 정의되는지 별도로 확인해야 한다.