셰페 검정 (Scheffé's Test)

한 줄 정의: ANOVA에서 집단 간 유의한 차이가 발견됐을 때, 구체적으로 어느 집단들 사이에 차이가 있는지 비교하는 사후검정 방법입니다.

쉽게 풀면

세 집단 이상을 비교하는 ANOVA는 "적어도 한 집단은 다르다"는 것만 알려줄 뿐, 정확히 어떤 집단들이 다른지는 말해주지 않습니다.

셰페 검정은 이 문제를 해결하는 사후검정(post-hoc test) 중 하나로, 모든 가능한 집단 조합(두 집단씩 비교뿐 아니라 여러 집단을 묶은 복잡한 비교까지)을 검정할 수 있다는 특징이 있습니다.

그만큼 기준이 엄격해서 다른 사후검정 방법보다 유의한 차이를 찾아내기 어렵지만, 대신 잘못된 결론(1종 오류)을 내릴 위험은 낮습니다. 특히 집단별 표본 수가 서로 다를 때도 비교적 안정적으로 사용할 수 있습니다.

왜 중요한가

ANOVA는 여러 집단을 비교할 때 전체적으로 차이가 있는지만 알려주기 때문에, 실제로 어떤 집단 조합이 다른지 밝히려면 사후검정이 반드시 뒤따라야 합니다. 셰페 검정은 두 집단 간 단순 비교뿐 아니라 여러 집단을 묶은 복합적인 비교까지 폭넓게 다룰 수 있어, 교육·의학·사회과학처럼 다수의 집단이나 조건을 비교하는 실험 논문에서 결과의 구체적인 위치를 짚어주는 검정으로 자주 등장합니다.

언제 쓰나

분산분석(ANOVA)에서 집단 간 차이가 유의하게 나온 뒤, 어느 집단 사이에 차이가 있는지 알아볼 때 쓰는 사후검정입니다. 특징은 두 집단씩의 쌍비교뿐 아니라 “B와 (A, C의 평균) 비교”처럼 여러 집단을 묶은 복합 대비까지, 가능한 모든 비교에 대해 전체 1종 오류율을 .05 이하로 묶는다는 점입니다.

자료를 본 뒤에 어떤 비교를 할지 정하는(계획하지 않은) 탐색적 비교가 많을 때 알맞습니다(Scheffé, 1953).
쌍비교만 할 거라면 같은 오류율을 지키면서 더 검정력이 높은 튜키 검정이 보통 낫습니다.
집단별 표본 수가 달라도 쓸 수 있지만, 등분산 가정이 필요합니다. 분산이 다르면 게임스-하웰 검정 등을 고려합니다.
ANOVA의 F검정이 유의하지 않으면 셰페 검정에서 유의한 대비도 없고, F가 유의하면 적어도 하나의 대비는 유의하게 나옵니다(그 대비가 쌍비교가 아닐 수도 있음).

결과는 이렇게 읽는다

일원분산분석 항목의 가상 자료(집단당 6명, 오차 평균제곱 MSW = 5.74, 오차 자유도 15)를 이어서 씁니다. 평균은 A = 74.33, B = 81.67, C = 76.50입니다.

비교 하나의 통계량은 F_S = (평균 차이)² / [(k−1) × MSW × (1/n₁ + 1/n₂)]이고, F(k−1, N−k) = F(2, 15) 분포와 비교합니다. 일반 t검정의 제곱을 (k−1)로 나눈 값이라서, 같은 차이도 일반 t검정보다 증거가 약하게 평가됩니다.
A–B: 차이 −7.33, F_S = 14.04, p < .001. B–C: 차이 5.17, F_S = 6.97, p = .007. A–C: 차이 −2.17, F_S = 1.23, p = .32.
최소 유의차(이 크기 이상의 쌍 차이가 있어야 유의): 보정하지 않은 t검정 2.95점, 튜키 3.59점, 셰페 3.76점. 셰페가 가장 엄격합니다.
튜키로 구한 B–C의 p는 .005로 셰페(.007)보다 약간 작습니다. 이 예에서는 결론이 같지만, 경계선의 비교에서는 달라질 수 있습니다.
복합 대비: B의 평균과 A·C 평균의 평균 비교는 차이 6.25, SE 1.20, F_S = 13.60, p < .001로 유의합니다. 튜키 검정은 쌍비교용이므로 이런 비교에는 셰페가 알맞습니다.

논문에는 이렇게 보고한다

ANOVA 결과를 먼저 적고, 사후검정으로 셰페를 선택한 이유와 유의한 쌍을 적습니다. (위 가상 자료 기준)

일원분산분석 결과 교수법에 따른 점수 차이가 유의하였다, F(2, 15) = 14.83, p < .001. Scheffé 사후검정 결과 B(M = 81.67)가 A(M = 74.33, p < .001)와 C(M = 76.50, p = .007)보다 높았고, A와 C 사이에는 유의한 차이가 없었다(p = .32).

한국어 논문에서는 “사후검정으로 Scheffé 검정을 실시하였다”라고만 쓰는 일이 흔한데, 쌍비교만 했다면 더 검정력이 높은 방법이 있었다는 점을 독자가 알 수 있도록 선택 이유를 한 줄 적으면 좋습니다.
사후검정은 방법마다 오류 통제 방식이 다르므로, 집단 수와 비교 수를 함께 밝힙니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“· 대상자의 일반적 특성 및 질병관련 특성에 따른 삶의 질은 inde- pendent t-test와 분산분석(analysis of variance)으로 분석하였으며, 사후 검정으로는 Scheffé post hoc test로 검증하였다.”
여성 류마티스 관절염 환자의 건강관련 삶의 질 구조모형, Korean Journal of Women Health Nursing, 2023 · KoreaMed Synapse · 원문 보기 ↗
“체육학과 전공과목 수강생들의 학습참여와 수업평가 향상에 플립러닝 수업이 효과가 있는가를 검증하기 위해 일원분산분석(ANOVA)을 실시하였고, 사후검증으로 Scheffe 방법을 이용하였다.”
팀활동 기반 플립러닝 수업이 체육학과 전공과목 수강생의 학습참여 및 수업평가에 미치는 영향, 한국체육교육학회지, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗
“연구방법: 1개 광역시와 3개 중소도시 지역에 소재하는 유치원과 어린이집에 자녀를 보내고 있는 어머니 총 387명으로부터 회수된 설문 조사 자료는 SPSS 23.0 프로그램을 이용하여 평균, 표준편차, t-검증, 일변량분산분석과 Scheffé 사후검정을 실시하였다.”
유아의 사회인구학적 변인과 모 공동체생활 역량 요소에 따른 유아의 친사회적 행동 연구, 교육혁신연구, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"일원배치 분산분석 결과 세 교육 방법 간 학업성취도에 유의한 차이가 있었으며(F = 5.42, p < .01), 셰페 검정(Scheffé's test)을 이용한 사후분석 결과 실험집단이 통제집단보다 유의하게 높은 점수를 보였다."

이 문장은 전체 ANOVA에서 유의한 차이가 확인된 뒤, 정확히 어느 집단 쌍에서 차이가 나는지를 셰페 검정으로 추가 확인했다는 뜻입니다.

"네 가지 비료 처리군 간 작물 수확량에 유의한 차이가 나타나, 셰페 검정을 통해 처리군 조합별 차이를 검토하였다."

농업 실험에서 여러 비료 처리군을 서로 비교했을 때, 어떤 조합에서 실제로 수확량 차이가 나는지를 셰페 검정으로 살펴봤다는 의미입니다.

"복지서비스 이용 만족도는 소득 구간별로 차이를 보였으며, 셰페 검정 결과 저소득층과 나머지 두 집단 간 차이가 뚜렷하였다."

사회복지 연구에서 소득 구간을 나누어 비교한 뒤, 셰페 검정으로 어느 집단이 다른 집단들과 구별되는지 확인했다는 뜻입니다.

조금 더 깊게 보면

셰페 검정이 다른 사후검정보다 보수적인 이유는, 단순한 두 집단 비교뿐 아니라 이론적으로 가능한 모든 선형 대비(linear contrast)까지 고려해 전체 1종 오류율을 통제하기 때문입니다. 이 때문에 비교 대상이 단순한 쌍별 비교뿐이라면 튜키 검정이 더 검정력이 높지만, 집단을 여러 개씩 묶어 비교하는 복합 대비가 필요한 상황에서는 셰페 검정이 적합한 선택으로 소개되는 경우가 많습니다.

주의할 점

셰페 검정은 기준이 보수적이어서, 같은 데이터라도 튜키의 HSD 검정에서는 유의했던 차이가 셰페 검정에서는 유의하지 않게 나올 수 있습니다. 단순히 두 집단씩만 비교할 목적이라면 더 검정력이 높은 튜키 검정을 쓰는 것이 일반적입니다.

헷갈리기 쉬운 용어

사후검정은 ‘어떤 비교를 허용하느냐’와 ‘얼마나 엄격하냐’로 갈립니다.

검정	허용하는 비교	엄격함	분산이 다를 때
셰페 검정	모든 대비(복합 대비 포함)	가장 엄격	부적합
튜키 HSD	모든 쌍비교	중간	부적합
본페로니 보정	미리 정한 m개 비교	m이 작으면 덜 엄격	함께 쓰는 검정에 따라 다름
게임스-하웰	모든 쌍비교	중간	적합

‘셰페(Scheffé)’는 사람 이름이라 ‘셰페’, ‘쉐페’, ‘쉐프’ 등 표기가 다양합니다. 영문 표기를 함께 적으면 검색과 확인이 쉽습니다.

참고 문헌

Scheffé, H. (1953). A method for judging all contrasts in the analysis of variance. Biometrika, 40(1–2), 87–104.
Scheffé, H. (1959). The analysis of variance. Wiley.
Maxwell, S. E., & Delaney, H. D. (2004). Designing experiments and analyzing data: A model comparison perspective (2nd ed.). Lawrence Erlbaum.
Kirk, R. E. (2013). Experimental design: Procedures for the behavioral sciences (4th ed.). Sage.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.