용어 목록 > 사후예측점검 (Posterior Predictive Check)

사후예측점검 (Posterior Predictive Check)

쉽게 풀면

요리 레시피(모형)를 완성했다면, 그 레시피대로 여러 번 요리를 해보고 원래 먹고 싶었던 맛(실제 데이터)과 비슷한지 확인해봐야 합니다. 사후예측점검도 마찬가지입니다.

베이지안 추론으로 모형의 모수에 대한 사후분포를 구했다면, 그 사후분포를 이용해 "만약 이 모형이 맞다면 나올 법한 가상의 데이터"를 컴퓨터로 수백~수천 번 만들어 봅니다. 그리고 이 가상 데이터들의 평균, 분포 모양, 극단값 등이 실제로 관측한 데이터와 비슷한 패턴을 보이는지 시각적으로, 혹은 수치로 비교합니다.

만약 가상 데이터가 실제 데이터의 특징(예: 특정 구간에 몰려있는 모양)을 재현하지 못한다면, 모형에 뭔가 빠진 부분이 있다는 신호입니다.

왜 중요한가

베이지안 통계에서는 사전분포와 모형 구조를 연구자가 직접 선택하기 때문에, 그 선택이 실제 데이터를 잘 설명하는지 검증하는 절차가 필수적입니다.

사후예측점검은 이런 모형 적합도 평가의 표준적 방법으로, 심리학·생태학·역학 등 베이지안 방법론을 쓰는 다양한 분야의 논문에서 모형을 제안한 뒤 그 타당성을 뒷받침하는 근거로 흔히 제시됩니다.

또한 계층모형처럼 구조가 복잡한 모형일수록 어디에서 적합도가 떨어지는지 진단하는 데 유용해, 모형 개선과 재설정의 출발점 역할도 합니다.

언제 쓰나

베이지안 모형을 적합한 뒤 “이 모형이 만들어 낼 법한 자료가 실제 자료와 닮았는가”를 확인할 때 씁니다. 사후분포를 구하는 것은 모형이 맞다는 전제 아래의 계산이므로, 그 전제를 따로 점검해야 합니다.

• 방법: ① 사후분포에서 모수를 뽑고, ② 그 모수로 새 자료(복제 자료 y^rep)를 만들고, ③ 이를 실제 자료 y와 비교합니다(Rubin, 1984; Gelman, Meng, & Stern, 1996).
• 비교하는 대상은 평균·분산·최댓값·0의 비율·연속된 같은 값의 길이처럼 모형이 틀리면 달라질 만한 요약값 T(y)입니다.
• 사전분포만으로 자료를 만들어 보는 “사전예측점검”과는 시점이 다릅니다. 모수를 적합한 뒤에 하는 것이 사후예측점검입니다.

결과는 이렇게 읽는다

• 그림으로 읽기: 복제 자료 여러 개의 분포를 실제 자료 분포 위에 겹쳐 그립니다. 실제 자료의 특징(두 봉우리, 긴 꼬리, 많은 0 등)이 복제 자료에도 나타나면 이 측면에서는 문제가 없습니다. 그렇지 않으면 모형에 빠진 구조가 있다는 신호입니다.
• 사후예측 p값(ppp): ppp = P(T(yrep) ≥ T(y) | y). 0이나 1에 매우 가까우면 그 요약값을 모형이 재현하지 못한다는 뜻입니다. 0.5 근처여야 “좋다”는 뜻이 아니며, 일반 검정의 p값과는 분포가 달라 ppp는 극단값이 잘 나오지 않는 보수적인 성질이 있습니다(Bayarri & Berger, 2000). 그래서 기계적인 기각 규칙이 아니라 진단 도구로 씁니다.
• 같은 자료로 모형을 적합하고 점검하므로 자료를 두 번 쓰는 셈입니다. 이 한계를 알고 교차검증 등 다른 평가와 병행합니다.

작은 예(가상의 자료): 동전을 20번 던져 앞면(1)이 10번, 그런데 1111111111 0000000000처럼 앞면 10번이 연달아 나오고 이어서 뒷면 10번이 나왔다고 합시다. “매번 독립이고 앞면 확률은 같다”는 모형(균등 사전분포)으로 사후분포를 구하고 복제 자료 4,000개(난수 시드 고정)를 만들어 연속된 같은 값 묶음(run)의 수를 세었습니다. 실제 자료의 run은 2개인데 복제 자료의 평균 run은 약 10.1개였고, run이 2개 이하인 복제 자료는 4,000개 중 4개(0.1%)에 불과했습니다. 앞면 비율은 잘 맞지만 “독립”이라는 가정은 이 자료를 설명하지 못합니다.

논문에는 이렇게 보고한다

• 어떤 요약값 T를 왜 골랐는지, 복제 자료를 몇 개 만들었는지 적습니다. 요약값은 연구 목적과 관련된 것을 여러 개 고릅니다.
• 그림(복제 자료 분포 겹쳐 그리기 등)과 필요하면 ppp를 함께 제시합니다. 예: 사후예측점검에서 복제 자료의 분산은 관측 분산을 대체로 재현하였으나(ppp = .42), 0의 비율은 과소추정되었다(ppp < .01). 이에 영과잉 성분을 추가한 모형을 적합하였다. (형식을 보여 주는 가상의 값입니다.)
• 점검 결과 때문에 모형을 고쳤다면 그 과정과 고친 뒤의 점검 결과를 보고합니다.
• 점검을 통과했다고 모형이 옳다고 쓰지 않습니다. 같은 점검을 통과하는 다른 모형이 여럿일 수 있어, 모형 비교는 베이즈 인수나 교차검증 기반 지표로 따로 합니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 "모형이 그럴듯해 보였지만, 실제 데이터를 재현해보니 특정 부분(분산)을 제대로 설명하지 못해 모형을 수정했다"는 뜻입니다. 이는 단순히 사후분포를 구하는 것으로 끝내지 않고, 그 결과가 데이터와 실제로 맞는지 검증하는 필수 절차입니다.

기본 모형만으로는 실제로 관찰된 개체수 급감을 설명하지 못했기 때문에, 외부 요인을 반영한 더 복잡한 모형으로 바꾸었다는 뜻입니다.

가상 데이터와 실제 데이터를 비교하는 검정통계량 값이 극단적이지 않고 중간 정도로 나왔다는 것은, 모형이 데이터를 그럴듯하게 잘 설명하고 있다는 신호라는 의미입니다.

조금 더 깊게 보면

사후예측점검을 수치화할 때는 흔히 사후예측 p-값(posterior predictive p-value)을 사용하는데, 이는 모형에서 생성한 복제 데이터의 검정통계량이 실제 데이터의 검정통계량보다 극단적으로 나올 확률을 나타냅니다.

이 값이 0이나 1에 가까울수록 모형이 데이터의 특정 측면(평균, 분산, 극단값 등)을 제대로 재현하지 못한다는 신호로 해석됩니다. 실무에서는 전체 데이터를 요약하는 하나의 통계량보다, 평균·분산·특정 분위수 등 여러 검정통계량에 대해 각각 점검을 수행하여 모형의 약점을 세밀하게 진단하는 경우가 많습니다.

주의할 점

사후예측점검은 모형이 데이터를 재현하는지 확인하는 도구일 뿐, "이 모형이 유일하게 옳다"는 것을 증명하지는 못합니다. 여러 대안 모형이 동시에 점검을 통과할 수 있으므로, 모형 간 비교에는 베이즈 인수 같은 별도 지표를 함께 활용하는 것이 일반적입니다.

헷갈리기 쉬운 용어

참고 문헌

1. Rubin, D. B. (1984). Bayesianly justifiable and relevant frequency calculations for the applied statistician. The Annals of Statistics, 12(4), 1151–1172.
2. Gelman, A., Meng, X.-L., & Stern, H. (1996). Posterior predictive assessment of model fitness via realized discrepancies. Statistica Sinica, 6(4), 733–760.
3. Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). Chapman and Hall/CRC.
4. Bayarri, M. J., & Berger, J. O. (2000). P values for composite null models. Journal of the American Statistical Association, 95(452), 1127–1142.
5. Gabry, J., Simpson, D., Vehtari, A., Betancourt, M., & Gelman, A. (2019). Visualization in Bayesian workflow. Journal of the Royal Statistical Society: Series A, 182(2), 389–402.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어