본페로니 교정 (Bonferroni Correction)

한 줄 정의: 여러 번의 통계 검정을 동시에 실시할 때 발생하는 1종 오류의 증가를 막기 위해 유의수준을 검정 횟수만큼 보수적으로 조정하는 방법.

쉽게 풀면

검정을 한 번만 하면 우연히 유의한 결과가 나올 확률은 보통 5% 수준이지만, 같은 자료로 검정을 여러 번 반복하면 그중 하나라도 우연히 유의하게 나올 확률이 크게 높아진다. 본페로니 교정은 이런 문제를 막기 위해, 유의수준(보통 .05)을 검정 횟수로 나누어 훨씬 엄격한 기준을 적용하는 간단하면서도 널리 쓰이는 방법이다.

왜 중요한가

실험이나 설문 연구에서는 여러 집단, 여러 문항, 여러 변수를 한꺼번에 비교하는 경우가 흔한데, 이때 검정을 아무 조정 없이 반복하면 우연에 의한 거짓 양성 결과가 논문의 핵심 주장을 오염시킬 수 있다. 본페로니 교정은 이런 다중비교 문제를 다루는 가장 기본적이고 보수적인 방법이라, 사후검정(post-hoc test)이나 탐색적 분석을 포함한 대부분의 실증 논문에서 결과의 신뢰성을 뒷받침하는 절차로 등장한다. 그래서 심사자와 독자 모두 다중비교가 이루어진 논문에서 이 교정이 적용되었는지를 우선적으로 확인하는 편이다.

논문에서는 이렇게 쓰입니다

"6개의 비교를 실시하였으므로 본페로니 교정을 적용하여 유의수준을 .0083(=.05/6)으로 설정하였다."

여러 번 비교하면서 우연히 유의한 결과가 나올 위험을 줄이기 위해, 원래 기준인 .05를 비교 횟수만큼 나눈 더 엄격한 기준을 사용했다는 뜻이다.

"뇌 영상 자료의 여러 관심영역(ROI)에서 동시에 통계 검정을 수행하였으며, 다중비교로 인한 1종 오류를 통제하기 위해 본페로니 교정을 적용하였다."

뇌영상 연구처럼 한 번의 분석에서 매우 많은 위치나 변수를 동시에 검정할 때도, 우연히 유의하게 나오는 결과를 걸러내기 위해 같은 방식으로 기준을 엄격하게 조정했다는 의미다.

"사후검정에서 집단 간 모든 쌍별 비교(pairwise comparison)에 본페로니 교정을 적용한 결과, 세 쌍 중 두 쌍에서만 유의한 차이가 유지되었다."

분산분석(ANOVA) 이후 여러 집단을 두 개씩 짝지어 비교하는 사후검정에서도 본페로니 교정을 적용하면 기준이 엄격해져, 교정 전에는 유의했던 일부 비교가 교정 후에는 유의하지 않게 될 수 있음을 보여준다.

조금 더 깊게 보면

본페로니 교정은 개별 검정의 유의수준을 검정 횟수로 나누는 방식이라 계산이 단순하지만, 검정 횟수가 늘어날수록 기준이 급격히 엄격해져 실제 효과를 놓칠 위험(2종 오류)이 커진다는 한계가 있다. 이를 보완하기 위해 홀름(Holm) 방법처럼 유의수준을 순차적으로 다르게 적용하는 개선된 방식이나, 개별 오류가 아닌 전체 발견 중 잘못된 발견의 비율을 통제하는 허위발견율(FDR) 통제 방법이 대안으로 많이 쓰인다. 또한 여러 검정 결과가 서로 독립적이지 않고 상관되어 있는 경우, 본페로니 교정은 필요 이상으로 보수적일 수 있어 이런 상관구조를 반영하는 방법들이 함께 논의되기도 한다. 논문을 읽을 때는 어떤 다중비교 방법을 썼는지에 따라 유의성 판단 기준이 달라진다는 점을 염두에 두는 것이 좋다.

주의할 점

검정 횟수가 많아질수록 유의수준이 매우 엄격해져 실제로 존재하는 효과도 놓칠 위험(2종 오류)이 커지므로, 대안으로 위양성발견율 통제 방법이 쓰이기도 한다.