다중비교보정 (multiple comparisons correction)
쉽게 풀면
동전을 한 번 던져서 앞면이 나오면 "신기하다"고 할 사람은 없습니다. 하지만 동전을 20개 동시에 던져서 그중 하나라도 10번 연속 앞면이 나온다면, 그 동전만 보고 "조작된 동전이다"라고 하기엔 억울한 면이 있습니다. 20번 시도하다 보면 우연히 하나쯤은 그런 결과가 나올 수 있기 때문입니다. 다중비교보정은 바로 이런 상황, 즉 한 논문에서 검정을 수십 번 반복할 때 "우연히 유의한 것처럼 보이는 결과"가 섞여 들어가는 것을 막기 위한 장치입니다. 검정을 많이 할수록 피해킹 기준(보통 0.05)을 그대로 쓰면 안 되고, 검정 횟수에 맞춰 기준을 더 까다롭게 낮춰야 한다는 것이 핵심 아이디어입니다. 가장 잘 알려진 방법이 본페로니(Bonferroni) 보정으로, 유의수준 0.05를 검정 횟수로 나누어 사용합니다.
왜 중요한가
유전체학, 뇌영상, 대규모 설문조사처럼 수백에서 수만 개의 변수를 동시에 검정하는 연구가 늘어나면서, 우연히 유의한 결과가 섞여 들어가는 문제는 연구 결과의 신뢰성을 좌우하는 핵심 쟁점이 되었습니다. 다중비교보정을 제대로 적용했는지는 논문 심사와 재현성 논의에서 자주 점검되는 항목이며, 이를 소홀히 하면 우연한 발견을 실제 효과로 잘못 보고하는 문제로 이어질 수 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 유전자 15개를 각각 검정하다 보면 우연히 유의한 결과가 나올 가능성이 커지므로, 원래 기준인 0.05를 검정 횟수 15로 나눈 더 엄격한 기준으로 판단했다는 뜻입니다.
이 문장은 뇌 영상 연구에서 수만 개의 작은 단위(복셀)를 동시에 검정할 때, 지나치게 보수적인 본페로니 방식 대신 위양성 비율을 통제하는 FDR 방법으로 유의성 기준을 조정했다는 뜻입니다.
이 문장은 여러 설문 문항을 동시에 비교 검정할 때, 단순 본페로니보다 검정력을 조금 더 확보할 수 있는 단계적 보정 절차를 사용했다는 의미입니다.
조금 더 깊게 보면
다중비교보정 방법은 크게 가족단위 오류율(family-wise error rate)을 엄격하게 통제하는 방법(본페로니, 하올름-본페로니 등)과, 유의하다고 판정된 결과 중 실제로는 거짓인 비율을 관리하는 오탐지율(false discovery rate, FDR) 기반 방법(벤자미니-호크버그 절차 등)으로 나뉩니다. 앞의 방법은 보수적이라 검정 수가 매우 많아지면 실제 효과도 놓치기 쉬운 반면, FDR 기반 방법은 상대적으로 덜 보수적이어서 유전체학이나 뇌영상처럼 검정 수가 극히 많은 분야에서 더 흔히 선택됩니다. 어떤 방법을 쓸지는 연구의 목적이 "거짓 양성을 절대 허용하지 않는 것"인지, "적당한 수준의 거짓 양성을 감수하고 발견을 늘리는 것"인지에 따라 달라집니다.
주의할 점
다중비교보정을 적용하지 않으면 피해킹과 비슷하게 우연한 결과를 진짜 효과처럼 보고할 위험이 커집니다. 반대로 본페로니 보정처럼 너무 보수적인 방법을 쓰면 실제로 존재하는 효과까지 "유의하지 않다"고 놓쳐버리는 2종 오류가 늘어날 수 있습니다. 그래서 상황에 따라 덜 보수적인 FDR(위양성률 통제) 방법을 쓰기도 합니다.