코크란 Q 검정 (Cochran's Q Test)
쉽게 풀면
같은 참가자 40명에게 세 가지 광고 A, B, C를 각각 보여주고 "구매하겠다 / 안 하겠다"로 답하게 했다고 해봅시다. 코크란 Q 검정은 이 세 광고에 대한 "예" 응답 비율이 실제로 다른지 확인해줍니다. 두 조건만 비교할 때 쓰는 맥니마 검정을 세 조건 이상으로 확장한 버전이라고 생각하면 이해하기 쉽습니다.
왜 중요한가
설문조사, 임상시험, 사용성 평가처럼 같은 대상을 여러 조건에 반복적으로 노출시키고 "예/아니오" 식의 응답을 얻는 연구 설계는 매우 흔합니다. 이런 반복측정 이분형 자료는 일반적인 카이제곱 검정이나 t검정의 독립성 가정을 만족하지 못하기 때문에, 조건 간 차이를 제대로 검증하려면 코크란 Q 검정처럼 반복측정 구조를 반영하는 방법이 필요합니다. 그래서 이 검정은 반복측정 분산분석이나 일반화추정방정식 같은 더 복잡한 모형으로 나아가기 전 단계의 기초 검정으로 논문에 자주 등장합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "세 학습 방식 중 적어도 한 방식에서 합격 비율이 다른 방식들과 우연이라고 보기 힘들 만큼 차이가 났다"는 뜻입니다.
같은 환자들에게 네 가지 진단 도구를 모두 적용해, 도구마다 양성 판정 비율이 우연 수준을 넘어서게 다른지를 검정했다는 의미입니다.
같은 응답자 집단이 여러 광고 문구를 모두 보고 클릭했는지 여부를 답한 자료에서, 문구별 클릭 비율이 실제로 다른지를 판단한 결과라는 뜻입니다.
조금 더 깊게 보면
코크란 Q 검정은 조건 수가 2개일 때는 맥니마 검정과 수학적으로 동일한 결과를 내며, 검정통계량 Q는 조건 수가 충분히 많아지면 근사적으로 카이제곱 분포를 따른다고 알려져 있습니다. 검정 결과가 유의하다는 것은 "적어도 하나의 조건이 다른 조건들과 다르다"는 것만 알려줄 뿐 어떤 조건들 사이에 차이가 있는지는 알려주지 않으므로, 구체적인 조건 쌍을 비교하려면 별도의 사후검정(post-hoc test)이 뒤따르는 경우가 많습니다. 또한 결측치가 있는 반복측정 자료나 공변량을 함께 고려해야 하는 경우에는 코크란 Q 검정 대신 일반화추정방정식이나 일반화선형혼합모형 같은 확장된 방법을 쓰는 경우도 흔합니다.
주의할 점
같은 대상을 반복측정한 자료라도 응답이 "예/아니오" 같은 이분형이 아니라 연속형 점수라면 코크란 Q 검정이 아니라 프리드만 검정을 사용해야 합니다. 자료의 척도(이분형인지 연속형인지)에 따라 적합한 검정 방법이 달라진다는 점을 혼동하지 않아야 합니다.