용어 목록 > 게임스-하우웰 검정 (Games-Howell test)

게임스-하우웰 검정 (Games-Howell test)

쉽게 풀면

세 집단 이상을 비교하는 분산분석(ANOVA)에서 "전체적으로 집단 간 차이가 있다"는 결과가 나오면, 다음 단계로 "그럼 구체적으로 어느 집단과 어느 집단이 다른가?"를 알아봐야 합니다.

이를 확인하는 절차를 사후검정(post-hoc test)이라 부르는데, 가장 널리 쓰이는 튜키의 HSD 검정은 모든 집단의 분산이 비슷하다는 전제를 깔고 있습니다. 하지만 레빈 검정 등으로 확인했을 때 집단 간 분산이 다르다고 나오면, 튜키 검정 대신 게임스-하우웰 검정을 써야 합니다.

이 검정은 각 집단 쌍마다 분산과 표본크기가 다르다는 점을 반영해서 통계량을 따로 계산하기 때문에, 분산이 들쭉날쭉한 상황에서도 왜곡 없이 두 집단씩 짝지어 비교할 수 있습니다.

왜 중요한가

실제 연구 데이터는 집단마다 표본크기와 분산이 다른 경우가 흔한데, 이런 상황에서 등분산을 가정하는 튜키 검정을 그대로 쓰면 유의성 판단이 왜곡될 위험이 있습니다.

게임스-하우웰 검정은 이런 현실적인 데이터 조건에서도 신뢰할 수 있는 집단 간 비교를 가능하게 해주기 때문에, 심리학·교육학·의학 등 실험집단의 크기가 불균등하게 모집되는 경우가 많은 분야의 논문에서 자주 채택됩니다.

통계적 가정을 검증하고 그에 맞는 방법을 선택했다는 점을 보여주는 것은 연구의 방법론적 엄밀성을 뒷받침하는 요소로도 여겨집니다.

언제 쓰나

세 집단 이상을 비교한 일원분산분석에서 전체 효과가 있다고 나온 뒤, 집단 간 분산이 같다고 보기 어려울 때 어느 집단 쌍이 다른지 가려내는 사후검정입니다. Games와 Howell(1976)이 표본 크기나 분산이 다른 경우를 대상으로 한 모의실험에서 제안했습니다.

• 등분산 가정이 필요한 튜키 HSD의 대안입니다. 레빈 검정 등으로 등분산이 의심되거나 집단 크기가 많이 다를 때 고릅니다.
• 전체 검정도 등분산을 가정하지 않는 웰치 분산분석으로 하는 것이 짝이 맞습니다(Welch, 1951). 분산이 다른데 일반 분산분석의 F로 전체 검정을 한 뒤 Games-Howell을 쓰는 조합은 일관성이 떨어집니다.
• 각 쌍마다 자기 분산·표본 크기를 쓰므로 한 쌍의 결과가 다른 집단의 분산에 영향을 받지 않습니다.
• 집단별 표본이 아주 작으면 쌍별 자유도 근사가 불안정해질 수 있어 결과를 조심해 읽습니다.

결과는 이렇게 읽는다

각 쌍 (i, j)에 대해 웰치 방식의 표준오차와 근사 자유도를 계산하고, 통계량 q = |x̄i − x̄j| / √( (si²/ni + sj²/nj) / 2 )를 스튜던트화 범위 분포(집단 수가 k일 때)와 비교해 다중비교를 보정한 p값을 구합니다. 같은 값을 t = q/√2로 바꾸어 읽는 프로그램도 있습니다.

작은 예(컴퓨터로 만든 가상의 자료): 세 집단의 크기가 12, 20, 9, 평균이 48.6, 54.3, 61.1, 표준편차가 4.8, 8.4, 23.3입니다. 레빈 검정이 유의(p < .001)해 등분산을 가정하기 어렵고, 일반 분산분석은 F(2, 38) = 2.56, p = .090입니다. Games-Howell 결과는 다음과 같습니다.

튜키 검정은 세 집단의 분산을 하나로 합쳐 쓰기 때문에, 분산이 큰 소표본 집단(3번)이 낀 쌍(1–3)의 불확실성을 작게 어림잡아 p가 .074로 더 작게 나왔습니다. 그 집단의 실제 표준오차는 7.89로 큽니다. Games-Howell은 이를 반영해 p = .304를 줍니다. 분산이 다를 때 어느 방법이 맞는지에 따라 결론이 갈릴 수 있습니다.

논문에는 이렇게 보고한다

• 등분산 검정(레빈 등)의 결과와 그 때문에 Games-Howell을 선택했다는 이유를 밝힙니다.
• 쌍별 비교는 표로, 평균차·표준오차(또는 신뢰구간)·보정된 p값을 제시합니다. 별표만 쓰기보다 정확한 p값이 좋습니다.
• 전체 검정을 웰치 분산분석으로 했다면 그 결과(F, 두 자유도, p)를 먼저 적습니다.
• 예: 웰치 분산분석 후 Games-Howell 사후검정을 실시한 결과, 집단 1과 집단 2의 평균 차이는 유의하지 않았다(평균차 = −5.73, p = .052). (위 가상의 예 기준입니다.)
• 효과크기는 집단 크기와 분산이 다르므로 코헨의 d를 쌍별로 계산할 때 어떤 표준편차(합동/개별)를 썼는지 밝힙니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

• “자료 분석은 t-test, ANOVA, Games-Howell, Pearson correlation coefficient와 Multiple regression을 사용하였다.”

  임상간호사의 윤리풍토와 윤리적 간호역량이 도덕적 고뇌에 미치는 영향, 간호행정학회지, 2025 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 "분산이 같지 않다는 것을 먼저 확인했기 때문에, 등분산을 요구하지 않는 사후검정 방법으로 어느 집단끼리 차이가 있는지 세부적으로 짚어냈다"는 뜻입니다.

이 예문은 교육학 연구에서 학급별로 학생 수와 성적 분산이 다를 수밖에 없는 현실적 조건을 반영해, 어느 프로그램 조합에서만 유의한 효과가 나타났는지 세밀하게 짚어내는 전형적인 서술 방식입니다.

의학·약리학 분야에서는 임상시험 특성상 용량군별 참가자 수와 반응 변동성이 다른 경우가 많아, 이러한 조건에 적합한 사후검정 방법을 명시하는 것이 결과의 신뢰성을 뒷받침하는 중요한 근거로 다뤄집니다.

조금 더 깊게 보면

게임스-하우웰 검정은 내부적으로 웰치(Welch)의 방식과 유사하게 각 집단 쌍마다 별도의 자유도를 계산하는데, 이는 스튜던트화 범위 통계량(studentized range statistic)을 기반으로 하되 각 비교마다 두 집단의 분산과 표본크기만을 반영한 근사 자유도(주로 Welch-Satterthwaite 근사법)를 사용하기 때문입니다.

그 결과 모든 짝비교가 동일한 기준을 공유하는 튜키 검정과 달리, 비교하는 집단 쌍에 따라 검정 기준이 조금씩 달라질 수 있습니다. 표본크기가 매우 작은 경우(대략 한 자릿수 수준)에는 이 근사가 다소 불안정해질 수 있어, 소표본 상황에서는 결과 해석에 유의해야 한다는 점도 함께 언급되는 경우가 많습니다.

주의할 점

게임스-하우웰 검정은 웰치의 분산분석 (Welch's ANOVA)과 짝을 이루는 방법입니다. 등분산 가정이 충족된 데이터에 굳이 게임스-하우웰 검정을 쓰면 검정력이 다소 낮아질 수 있으므로, 먼저 레빈 검정 등으로 등분산 여부를 확인한 뒤 상황에 맞는 사후검정을 선택하는 것이 중요합니다.

헷갈리기 쉬운 용어

참고 문헌

1. Games, P. A., & Howell, J. F. (1976). Pairwise multiple comparison procedures with unequal n’s and/or variances: A Monte Carlo study. Journal of Educational Statistics, 1(2), 113–125.
2. Welch, B. L. (1951). On the comparison of several mean values: An alternative approach. Biometrika, 38(3–4), 330–336.
3. Delacre, M., Leys, C., Mora, Y. L., & Lakens, D. (2019). Taking parametric assumptions seriously: Arguments for the use of Welch’s F-test instead of the classical F-test in one-way ANOVA. International Review of Social Psychology, 32(1), 13.
4. Kirk, R. E. (2013). Experimental Design: Procedures for the Behavioral Sciences (4th ed.). Sage.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어