사후검정 (Post-hoc Test)

한 줄 정의: 세 집단 이상을 비교하는 검정에서 "어딘가에 차이가 있다"는 결과가 나온 뒤, 구체적으로 어느 집단과 어느 집단 사이에 차이가 있는지 짝지어 확인하는 추가 검정입니다.

쉽게 풀면

A, B, C 세 가지 학습법의 시험 점수를 비교하는 분산분석을 돌렸더니 "세 집단 평균이 통계적으로 유의하게 다르다"는 결과가 나왔다고 해봅시다. 그런데 이 결과만으로는 A와 B가 다른 건지, B와 C가 다른 건지, 아니면 셋 다 서로 다른 건지 알 수 없습니다. 그냥 "이 셋 사이 어딘가에는 차이가 있다"는 것만 알려주기 때문입니다. 사후검정은 바로 이 지점에서, A-B, A-C, B-C처럼 두 집단씩 짝을 지어 "정확히 어디서 차이가 나는지"를 하나하나 확인해 주는 절차입니다. 이때 비교 횟수가 늘어날수록 우연히 유의한 결과가 나올 위험(1종 오류)도 커지기 때문에, 튜키의 HSD 검정이나 Scheffé 검정처럼 이 위험을 함께 통제해 주는 전용 방법을 사용합니다.

왜 중요한가

세 집단 이상을 비교하는 실험연구는 심리학, 교육학, 의학, 생명과학 등 거의 모든 실증 연구 분야에서 흔히 쓰이는 설계이기 때문에, 사후검정은 ANOVA와 짝을 이루는 필수 절차로 논문에 매우 빈번하게 등장합니다. 다중비교 시 발생하는 1종 오류 팽창 문제를 통제하는 방법이라는 점에서, 통계적 엄밀성을 평가하는 심사위원이나 독자가 특히 주의 깊게 살펴보는 부분이기도 합니다.

논문에서는 이렇게 쓰입니다

"일원배치 분산분석 결과 집단 간 유의한 차이가 나타나(F = 6.42, p < .01), Tukey HSD를 이용한 사후검정을 실시한 결과 실험집단이 통제집단보다 유의하게 높은 점수를 보였다(p < .05)."

이 문장은 먼저 ANOVA로 "집단 간에 차이가 있다"는 것을 확인한 뒤, 사후검정을 통해 그 차이가 구체적으로 어느 집단 쌍에서 나타나는지까지 짚어냈다는 뜻입니다.

"집단 간 분산의 동질성 가정이 위배됨에 따라, Games-Howell 사후검정을 적용하여 각 용량군 간 반응 차이를 비교하였다."

등분산 가정이 성립하지 않는 실험 데이터에서 이에 적합한 사후검정 방법을 선택했음을 밝히는 약리학·생물학 연구의 표현이다.

"세 가지 교수법 간 학업성취도 비교를 위해 Scheffé 사후검정을 실시하였으며, 협동학습 집단이 강의식 수업 집단보다 유의하게 높은 성취도를 나타냈다."

교육학 연구에서 여러 교수법의 효과를 비교하고 구체적으로 어느 조건 간 차이가 유의한지 밝힐 때 쓰이는 문장이다.

조금 더 깊게 보면

사후검정 방법의 선택은 표본 크기가 같은지, 집단 간 분산이 동질적인지에 따라 달라지는데, 등분산이 가정되면 Tukey HSD나 Scheffé 검정이, 등분산이 위배되면 Games-Howell 검정이 흔히 쓰입니다. 또한 사전에 계획된 비교인지(계획비교, planned comparison) 사후에 탐색적으로 이루어지는 비교인지도 방법 선택에 영향을 주며, 어느 방법이든 공통적으로 목표는 여러 번 비교를 반복함에 따라 누적되는 1종 오류율을 전체 검정 수준에서 통제하는 것입니다.

주의할 점

사후검정은 ANOVA처럼 "전체적으로 차이가 있다"는 결과(유의한 F값)가 나온 뒤에만 실시하는 것이 원칙입니다. 또한 어떤 사후검정 방법을 쓰느냐(Tukey, Scheffé, Bonferroni, Games-Howell 등)에 따라 결과가 조금씩 달라질 수 있으므로, 표본 크기나 집단별 분산의 동질성 여부를 고려해 적절한 방법을 선택했는지 논문에 명시해야 합니다.