사후예측점검 (Posterior Predictive Check)
쉽게 풀면
요리 레시피(모형)를 완성했다면, 그 레시피대로 여러 번 요리를 해보고 원래 먹고 싶었던 맛(실제 데이터)과 비슷한지 확인해봐야 합니다. 사후예측점검도 마찬가지입니다. 베이지안 추론으로 모형의 모수에 대한 사후분포를 구했다면, 그 사후분포를 이용해 "만약 이 모형이 맞다면 나올 법한 가상의 데이터"를 컴퓨터로 수백~수천 번 만들어 봅니다. 그리고 이 가상 데이터들의 평균, 분포 모양, 극단값 등이 실제로 관측한 데이터와 비슷한 패턴을 보이는지 시각적으로, 혹은 수치로 비교합니다. 만약 가상 데이터가 실제 데이터의 특징(예: 특정 구간에 몰려있는 모양)을 재현하지 못한다면, 모형에 뭔가 빠진 부분이 있다는 신호입니다.
왜 중요한가
베이지안 통계에서는 사전분포와 모형 구조를 연구자가 직접 선택하기 때문에, 그 선택이 실제 데이터를 잘 설명하는지 검증하는 절차가 필수적입니다. 사후예측점검은 이런 모형 적합도 평가의 표준적 방법으로, 심리학·생태학·역학 등 베이지안 방법론을 쓰는 다양한 분야의 논문에서 모형을 제안한 뒤 그 타당성을 뒷받침하는 근거로 흔히 제시됩니다. 또한 계층모형처럼 구조가 복잡한 모형일수록 어디에서 적합도가 떨어지는지 진단하는 데 유용해, 모형 개선과 재설정의 출발점 역할도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "모형이 그럴듯해 보였지만, 실제 데이터를 재현해보니 특정 부분(분산)을 제대로 설명하지 못해 모형을 수정했다"는 뜻입니다. 이는 단순히 사후분포를 구하는 것으로 끝내지 않고, 그 결과가 데이터와 실제로 맞는지 검증하는 필수 절차입니다.
기본 모형만으로는 실제로 관찰된 개체수 급감을 설명하지 못했기 때문에, 외부 요인을 반영한 더 복잡한 모형으로 바꾸었다는 뜻입니다.
가상 데이터와 실제 데이터를 비교하는 검정통계량 값이 극단적이지 않고 중간 정도로 나왔다는 것은, 모형이 데이터를 그럴듯하게 잘 설명하고 있다는 신호라는 의미입니다.
조금 더 깊게 보면
사후예측점검을 수치화할 때는 흔히 사후예측 p-값(posterior predictive p-value)을 사용하는데, 이는 모형에서 생성한 복제 데이터의 검정통계량이 실제 데이터의 검정통계량보다 극단적으로 나올 확률을 나타냅니다. 이 값이 0이나 1에 가까울수록 모형이 데이터의 특정 측면(평균, 분산, 극단값 등)을 제대로 재현하지 못한다는 신호로 해석됩니다. 실무에서는 전체 데이터를 요약하는 하나의 통계량보다, 평균·분산·특정 분위수 등 여러 검정통계량에 대해 각각 점검을 수행하여 모형의 약점을 세밀하게 진단하는 경우가 많습니다.
주의할 점
사후예측점검은 모형이 데이터를 재현하는지 확인하는 도구일 뿐, "이 모형이 유일하게 옳다"는 것을 증명하지는 못합니다. 여러 대안 모형이 동시에 점검을 통과할 수 있으므로, 모형 간 비교에는 베이즈 인수 같은 별도 지표를 함께 활용하는 것이 일반적입니다.