다중비교 문제 (Multiple Comparisons Problem)

한 줄 정의: 동일한 자료에 대해 여러 개의 가설을 동시에 검정할 때, 개별 검정의 유의수준을 그대로 적용하면 전체적으로 우연히 유의한 결과가 나올 확률(전체 제1종 오류율)이 크게 증가하는 문제.

쉽게 풀면

유의수준 5%로 검정을 한 번 할 때는 우연히 틀린 결론(제1종 오류)이 날 확률이 5%지만, 같은 자료로 20번의 검정을 반복하면 그중 적어도 하나가 우연히 유의하게 나올 확률은 훨씬 높아진다. 이렇게 여러 가설을 동시에 검정할 때 우연한 발견이 늘어나는 현상을 다중비교 문제라 부르며, 유전자 수천 개를 동시에 비교하는 유전체 연구에서 특히 심각하다. 이를 해결하기 위해 본페로니 교정이나 위양성발견율 통제 방법이 사용된다.

왜 중요한가

임상시험에서 여러 하위집단을 나눠 비교하거나, 설문조사에서 수십 개 문항을 동시에 분석하거나, 유전체 연구에서 수천 개 유전자를 한꺼번에 검정하는 등, 다중비교 문제는 현대 연구 대부분에서 마주치는 근본적인 통계적 함정입니다. 이 문제를 인식하지 못하고 결과를 보고하면 우연히 나온 발견을 실제 효과로 오인하게 되므로, 연구 결과의 재현성과 신뢰도를 논의할 때 빠지지 않고 언급됩니다.

논문에서는 이렇게 쓰입니다

"다중비교 문제를 고려하여 본페로니 보정을 적용한 후에도 결과는 유의하게 유지되었다."

여러 변수나 여러 하위 그룹을 동시에 검정하는 연구에서 결과의 신뢰성을 높이기 위해 반드시 다루어야 하는 문제로 언급된다.

"사전에 계획하지 않은 사후 하위집단 분석에서 다중비교 문제로 인해 일부 유의한 결과가 우연에 의한 것일 가능성을 배제할 수 없다."

이 문장은 임상시험 결과를 여러 하위집단으로 쪼개어 사후에 추가 분석했을 때, 그중 일부에서 우연히 유의한 결과가 나왔을 가능성을 연구진 스스로 경계하며 밝힌 것입니다.

"전장유전체 연관분석에서 수백만 개의 유전자 마커를 동시에 검정하면서 다중비교 문제가 극단적으로 커지므로 엄격한 유의수준 기준을 적용하였다."

이 문장은 유전체 전체를 훑는 대규모 분석에서는 검정 횟수 자체가 매우 많아, 일반적인 5% 유의수준보다 훨씬 엄격한 기준을 사용해야 한다는 점을 설명한 것입니다.

조금 더 깊게 보면

다중비교 문제의 핵심은 개별 검정의 오류율과 여러 검정을 모아본 전체 오류율(family-wise error rate)이 다르다는 데 있습니다. 검정을 m번 독립적으로 반복하면, 적어도 하나가 우연히 유의하게 나올 확률은 검정 횟수가 늘어날수록 빠르게 커집니다. 이 문제는 사전에 계획된 소수의 가설을 검정하는 확증적(confirmatory) 분석보다, 데이터를 보며 여러 조합을 탐색적으로 살펴보는 탐색적(exploratory) 분석에서 특히 두드러지며, 그래서 논문에서는 어떤 검정이 사전에 계획된 것이고 어떤 것이 사후 탐색인지 구분해 밝히는 것이 중요하게 여겨집니다.

주의할 점

다중비교 보정을 전혀 하지 않으면 거짓양성(false positive) 결과를 실제 발견으로 잘못 해석할 위험이 커진다.