용어 목록 > 코크란 Q 검정 (Cochran's Q Test)

코크란 Q 검정 (Cochran's Q Test)

쉽게 풀면

같은 참가자 40명에게 세 가지 광고 A, B, C를 각각 보여주고 "구매하겠다 / 안 하겠다"로 답하게 했다고 해봅시다. 코크란 Q 검정은 이 세 광고에 대한 "예" 응답 비율이 실제로 다른지 확인해줍니다. 두 조건만 비교할 때 쓰는 맥니마 검정을 세 조건 이상으로 확장한 버전이라고 생각하면 이해하기 쉽습니다.

왜 중요한가

설문조사, 임상시험, 사용성 평가처럼 같은 대상을 여러 조건에 반복적으로 노출시키고 "예/아니오" 식의 응답을 얻는 연구 설계는 매우 흔합니다.

이런 반복측정 이분형 자료는 일반적인 카이제곱 검정이나 t검정의 독립성 가정을 만족하지 못하기 때문에, 조건 간 차이를 제대로 검증하려면 코크란 Q 검정처럼 반복측정 구조를 반영하는 방법이 필요합니다.

그래서 이 검정은 반복측정 분산분석이나 일반화추정방정식 같은 더 복잡한 모형으로 나아가기 전 단계의 기초 검정으로 논문에 자주 등장합니다.

언제 쓰나

같은 대상을 세 개 이상의 조건(또는 시점)에서 측정한 이분형 결과(성공/실패, 양성/음성, 예/아니오)의 비율이 조건마다 다른지 볼 때 씁니다. 예) 같은 환자 12명이 세 가지 검사법에서 병변을 ‘발견했는가’, 같은 학생들이 세 가지 문제 유형을 ‘맞혔는가’.

• 귀무가설 H₀: 모든 조건에서 ‘성공’의 확률이 같다.
• 조건이 2개이면 맥니마 검정과 같은 결과입니다. 3개 이상일 때 맥니마 검정을 확장한 것으로 이해하면 됩니다.
• 대상(행)마다 모든 조건의 결과가 있어야 합니다. 한 칸이라도 비면 그 대상은 제외됩니다. 결과가 연속 점수라면 프리드만 검정이나 반복측정분산분석을 씁니다.

결과는 이렇게 읽는다

검정통계량은 조건별 ‘성공’ 합계가 서로 얼마나 다른지를 재며, 대상 수가 충분히 많으면 자유도 (조건 수 − 1)인 카이제곱분포를 따릅니다. 이 통계량은 이분형 자료에 대한 프리드만 검정 구조의 특수한 경우로 볼 수 있습니다.

작은 예(가상의 자료, 계산 결과). 12명이 과제 A, B, C를 시도해 성공한 사람이 A 9명, B 9명, C 1명이었고, 사람별로는 세 과제 모두 성공 1명, 두 과제 성공 6명, 한 과제 성공 4명, 모두 실패 1명이었다면 Q = 12.80, 자유도 2, p ≈ .002입니다.

• 유의하다는 것은 ‘적어도 한 조건은 다르다’일 뿐 어느 조건이 다른지는 알려 주지 않습니다. 위 예에서 눈으로는 C가 다르지만, 이를 확인하려면 조건 쌍마다 맥니마 검정을 하고 보정합니다.
• 쌍별 비교는 본페로니 보정처럼 다중비교 보정을 거쳐 해석합니다.

논문에는 이렇게 보고한다

조건 수와 대상 수, 조건별 성공 비율, Q 통계량과 자유도, p를 적고, 유의하면 쌍별 비교와 보정 방식을 이어서 적습니다.

세 과제의 성공률은 유의하게 달랐다(Cochran의 Q(2) = 12.80, p = .002, N = 12). 쌍별 맥니마 검정(본페로니 보정) 결과 과제 C의 성공률(8%)이 A(75%)와 B(75%)보다 낮았다. (형식을 보여 주려는 가상의 문장)

• 표본이 작으면 카이제곱 근사가 부정확하므로, 정확검정이나 순열검정 값을 쓴 경우 그 사실을 밝힙니다.
• 고정된 순서로 같은 대상에게 조건을 제시했다면 순서효과(연습효과)의 가능성을 논의합니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 "세 학습 방식 중 적어도 한 방식에서 합격 비율이 다른 방식들과 우연이라고 보기 힘들 만큼 차이가 났다"는 뜻입니다.

같은 환자들에게 네 가지 진단 도구를 모두 적용해, 도구마다 양성 판정 비율이 우연 수준을 넘어서게 다른지를 검정했다는 의미입니다.

같은 응답자 집단이 여러 광고 문구를 모두 보고 클릭했는지 여부를 답한 자료에서, 문구별 클릭 비율이 실제로 다른지를 판단한 결과라는 뜻입니다.

조금 더 깊게 보면

코크란 Q 검정은 조건 수가 2개일 때는 맥니마 검정과 수학적으로 동일한 결과를 내며, 검정통계량 Q는 대상(행)의 수가 충분히 많으면 자유도가 (조건 수 − 1)인 카이제곱 분포를 근사적으로 따른다고 알려져 있습니다.

검정 결과가 유의하다는 것은 "적어도 하나의 조건이 다른 조건들과 다르다"는 것만 알려줄 뿐 어떤 조건들 사이에 차이가 있는지는 알려주지 않으므로, 구체적인 조건 쌍을 비교하려면 별도의 사후검정(post-hoc test)이 뒤따르는 경우가 많습니다.

또한 결측치가 있는 반복측정 자료나 공변량을 함께 고려해야 하는 경우에는 코크란 Q 검정 대신 일반화추정방정식이나 일반화선형혼합모형 같은 확장된 방법을 쓰는 경우도 흔합니다.

주의할 점

같은 대상을 반복측정한 자료라도 응답이 "예/아니오" 같은 이분형이 아니라 연속형 점수라면 코크란 Q 검정이 아니라 프리드만 검정을 사용해야 합니다. 자료의 척도(이분형인지 연속형인지)에 따라 적합한 검정 방법이 달라진다는 점을 혼동하지 않아야 합니다.

헷갈리기 쉬운 용어

‘같은 대상을 반복 측정’했는지, ‘결과가 이분형인지’로 갈립니다.

서로 다른 사람들의 비율을 비교하면 카이제곱검정, 같은 사람들을 여러 번 측정했으면 Q 검정입니다.

참고 문헌

1. Cochran, W. G. (1950). The comparison of percentages in matched samples. Biometrika, 37(3–4), 256–266.
2. McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157.
3. Siegel, S., & Castellan, N. J. (1988). Nonparametric Statistics for the Behavioral Sciences (2nd ed.). McGraw-Hill.
4. Agresti, A. (2013). Categorical Data Analysis (3rd ed.). Wiley.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어