셰페 검정 (Scheffé's Test)

한 줄 정의: ANOVA에서 집단 간 유의한 차이가 발견됐을 때, 구체적으로 어느 집단들 사이에 차이가 있는지 비교하는 사후검정 방법입니다.

쉽게 풀면

세 집단 이상을 비교하는 ANOVA는 "적어도 한 집단은 다르다"는 것만 알려줄 뿐, 정확히 어떤 집단들이 다른지는 말해주지 않습니다. 셰페 검정은 이 문제를 해결하는 사후검정(post-hoc test) 중 하나로, 모든 가능한 집단 조합(두 집단씩 비교뿐 아니라 여러 집단을 묶은 복잡한 비교까지)을 검정할 수 있다는 특징이 있습니다. 그만큼 기준이 엄격해서 다른 사후검정 방법보다 유의한 차이를 찾아내기 어렵지만, 대신 잘못된 결론(1종 오류)을 내릴 위험은 낮습니다. 특히 집단별 표본 수가 서로 다를 때도 비교적 안정적으로 사용할 수 있습니다.

왜 중요한가

ANOVA는 여러 집단을 비교할 때 전체적으로 차이가 있는지만 알려주기 때문에, 실제로 어떤 집단 조합이 다른지 밝히려면 사후검정이 반드시 뒤따라야 합니다. 셰페 검정은 두 집단 간 단순 비교뿐 아니라 여러 집단을 묶은 복합적인 비교까지 폭넓게 다룰 수 있어, 교육·의학·사회과학처럼 다수의 집단이나 조건을 비교하는 실험 논문에서 결과의 구체적인 위치를 짚어주는 검정으로 자주 등장합니다.

논문에서는 이렇게 쓰입니다

"일원배치 분산분석 결과 세 교육 방법 간 학업성취도에 유의한 차이가 있었으며(F = 5.42, p < .01), 셰페 검정(Scheffé's test)을 이용한 사후분석 결과 실험집단이 통제집단보다 유의하게 높은 점수를 보였다."

이 문장은 전체 ANOVA에서 유의한 차이가 확인된 뒤, 정확히 어느 집단 쌍에서 차이가 나는지를 셰페 검정으로 추가 확인했다는 뜻입니다.

"네 가지 비료 처리군 간 작물 수확량에 유의한 차이가 나타나, 셰페 검정을 통해 처리군 조합별 차이를 검토하였다."

농업 실험에서 여러 비료 처리군을 서로 비교했을 때, 어떤 조합에서 실제로 수확량 차이가 나는지를 셰페 검정으로 살펴봤다는 의미입니다.

"복지서비스 이용 만족도는 소득 구간별로 차이를 보였으며, 셰페 검정 결과 저소득층과 나머지 두 집단 간 차이가 뚜렷하였다."

사회복지 연구에서 소득 구간을 나누어 비교한 뒤, 셰페 검정으로 어느 집단이 다른 집단들과 구별되는지 확인했다는 뜻입니다.

조금 더 깊게 보면

셰페 검정이 다른 사후검정보다 보수적인 이유는, 단순한 두 집단 비교뿐 아니라 이론적으로 가능한 모든 선형 대비(linear contrast)까지 고려해 전체 1종 오류율을 통제하기 때문입니다. 이 때문에 비교 대상이 단순한 쌍별 비교뿐이라면 튜키 검정이 더 검정력이 높지만, 집단을 여러 개씩 묶어 비교하는 복합 대비가 필요한 상황에서는 셰페 검정이 적합한 선택으로 소개되는 경우가 많습니다.

주의할 점

셰페 검정은 기준이 보수적이어서, 같은 데이터라도 튜키의 HSD 검정에서는 유의했던 차이가 셰페 검정에서는 유의하지 않게 나올 수 있습니다. 단순히 두 집단씩만 비교할 목적이라면 더 검정력이 높은 튜키 검정을 쓰는 것이 일반적입니다.