본페로니 교정 (Bonferroni Correction)
쉽게 풀면
검정을 한 번만 하면 우연히 유의한 결과가 나올 확률은 보통 5% 수준이지만, 같은 자료로 검정을 여러 번 반복하면 그중 하나라도 우연히 유의하게 나올 확률이 크게 높아진다. 본페로니 교정은 이런 문제를 막기 위해, 유의수준(보통 .05)을 검정 횟수로 나누어 훨씬 엄격한 기준을 적용하는 간단하면서도 널리 쓰이는 방법이다.
왜 중요한가
실험이나 설문 연구에서는 여러 집단, 여러 문항, 여러 변수를 한꺼번에 비교하는 경우가 흔한데, 이때 검정을 아무 조정 없이 반복하면 우연에 의한 거짓 양성 결과가 논문의 핵심 주장을 오염시킬 수 있다. 본페로니 교정은 이런 다중비교 문제를 다루는 가장 기본적이고 보수적인 방법이라, 사후검정(post-hoc test)이나 탐색적 분석을 포함한 대부분의 실증 논문에서 결과의 신뢰성을 뒷받침하는 절차로 등장한다. 그래서 심사자와 독자 모두 다중비교가 이루어진 논문에서 이 교정이 적용되었는지를 우선적으로 확인하는 편이다.
언제 쓰나
한 연구에서 같은 가설족(family)에 속하는 검정을 m번 돌릴 때, “적어도 하나는 우연히 유의하게 나올 확률”(가족 단위 오류율, FWER)을 α(보통 .05) 이하로 묶고 싶을 때 씁니다. 분산분석 뒤의 쌍별 비교, 여러 종속변수에 대한 반복 검정, 하위 문항별 검정 등이 전형적인 경우입니다.
- 검정 사이의 독립성을 가정하지 않습니다. 어떤 상관 구조에서도 FWER가 α를 넘지 않습니다.
- 검정 수 m이 작을 때(대략 열 개 안팎까지)는 간단하고 충분히 쓸 만합니다.
- m이 커지거나 검정들이 서로 강하게 상관되어 있으면 지나치게 보수적이 되어 진짜 효과를 놓치기 쉽습니다(2종 오류 증가).
결과는 이렇게 읽는다
계산은 두 가지 중 하나로 같은 결론이 나옵니다.
- 기준을 낮추는 방식: 개별 검정의 유의수준을 α′ = α/m로 둡니다. 원래 p가 α′보다 작아야 유의합니다.
- p를 키우는 방식: 보정 p = min(1, m × p)로 바꾸고 이것을 .05와 비교합니다.
통계 프로그램이 ‘Bonferroni’ 옵션으로 이미 보정 p를 출력했다면 그 값을 다시 m으로 나누어 .05/m과 비교하면 이중 보정이 됩니다. 어느 쪽 값을 보고 있는지 먼저 확인하세요.
| 검정 수 m | 개별 기준 α′ = .05/m |
|---|---|
| 3 | .0167 |
| 5 | .010 |
| 10 | .005 |
| 20 | .0025 |
| 100 | .0005 |
작은 예. 세 번의 쌍별 비교에서 원래 p가 .012, .030, .200이었다면 보정 p는 각각 .036, .090, .600입니다. 보정 전에는 두 개가 유의했지만 보정 후에는 첫 번째만 .05 아래에 남습니다.
논문에는 이렇게 보고한다
무엇을 하나의 가설족으로 보고 m을 몇으로 잡았는지, 보정된 기준인지 보정된 p인지를 밝힙니다.
세 집단 간 쌍별 비교에는 Bonferroni 보정을 적용하여 유의수준을 .05/3 = .017로 하였다. 그 결과 A집단과 C집단의 차이만 유의하였다(p = .012).
또는 보정된 p값(Bonferroni)은 .036이었다처럼 보정 p를 적습니다. 한국어 논문에서는 “Bonferroni 사후검정”이라는 표현이 흔한데, 엄밀히는 사후검정 방법 이름이 아니라 쌍별 비교에 쓴 보정 방식이므로 어떤 쌍별 검정(t검정, 맨-휘트니 등)에 적용했는지도 함께 적는 것이 정확합니다. 탐색적 분석에서 보정을 하지 않았다면 그 이유와 ‘탐색적’이라는 점을 밝힙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“원시 p값 기준으로는 18개 문항 중 16개에서 유의한 감소가 관찰되었으나, Bonferroni correction 적용 후에는 14개 문항에서만 유의성이 유지되었다(Table 4).”
장기 입원 정신장애 환자를 위한 구조화된 사이코드라마의 효과: 예비 연구, Korean Journal of Schizophrenia Research, 2026 · KoreaMed Synapse · 원문 보기 ↗
“Bonferroni 사후검정 결과 조기 진통 관련 지식 점수는 T0 시점보다 T1 시점에서 유의하게 높았고, T0 시점보다 T2 시점의 지식 점수가 유의하게 높았다.”
조기진통 사정 알고리즘은 실습 시 조기진통 관련 지식, 임상수행자신감, 교육만족도에 유효한가?: 유사실험 연구, Korean Journal of Women Health Nursing, 2023 · KoreaMed Synapse · 원문 보기 ↗
“착지 유형에 따른 중족골 골두와 기저부의 압력 차이를 비교하기 위해 Kruskal-Wallis test를 시행하였으며, 사후 검정으로 각 착지 유형 간의 비교는 Mann-Whitney U test를 시행하고 Bonferroni 보정을 적용하였다.”
달리기 착지 유형에 따른 제5중족골 부위별 압력 변화, The Korean Journal of Sports Medicine, 2026 · KoreaMed Synapse · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
여러 번 비교하면서 우연히 유의한 결과가 나올 위험을 줄이기 위해, 원래 기준인 .05를 비교 횟수만큼 나눈 더 엄격한 기준을 사용했다는 뜻이다.
뇌영상 연구처럼 한 번의 분석에서 매우 많은 위치나 변수를 동시에 검정할 때도, 우연히 유의하게 나오는 결과를 걸러내기 위해 같은 방식으로 기준을 엄격하게 조정했다는 의미다.
분산분석(ANOVA) 이후 여러 집단을 두 개씩 짝지어 비교하는 사후검정에서도 본페로니 교정을 적용하면 기준이 엄격해져, 교정 전에는 유의했던 일부 비교가 교정 후에는 유의하지 않게 될 수 있음을 보여준다.
조금 더 깊게 보면
본페로니 교정은 개별 검정의 유의수준을 검정 횟수로 나누는 방식이라 계산이 단순하지만, 검정 횟수가 늘어날수록 기준이 급격히 엄격해져 실제 효과를 놓칠 위험(2종 오류)이 커진다는 한계가 있다. 이를 보완하기 위해 홀름(Holm) 방법처럼 유의수준을 순차적으로 다르게 적용하는 개선된 방식이나, 개별 오류가 아닌 전체 발견 중 잘못된 발견의 비율을 통제하는 허위발견율(FDR) 통제 방법이 대안으로 많이 쓰인다. 또한 여러 검정 결과가 서로 독립적이지 않고 상관되어 있는 경우, 본페로니 교정은 필요 이상으로 보수적일 수 있어 이런 상관구조를 반영하는 방법들이 함께 논의되기도 한다. 논문을 읽을 때는 어떤 다중비교 방법을 썼는지에 따라 유의성 판단 기준이 달라진다는 점을 염두에 두는 것이 좋다.
주의할 점
검정 횟수가 많아질수록 유의수준이 매우 엄격해져 실제로 존재하는 효과도 놓칠 위험(2종 오류)이 커지므로, 대안으로 위양성발견율 통제 방법이 쓰이기도 한다.
헷갈리기 쉬운 용어
‘다중비교보정’은 방법들을 아우르는 말이고, 본페로니는 그중 가장 단순한 하나입니다. 아래는 자주 마주치는 방법들의 비교입니다.
| 방법 | 통제하는 오류 | 엄격함 | 특징 |
|---|---|---|---|
| 본페로니 교정 | FWER | 가장 보수적 | 계산이 단순하고 어떤 상관 구조에서도 성립 |
| 홀름-본페로니 절차 | FWER | 본페로니보다 덜 보수적 | p를 작은 순서대로 순차 검정, 본페로니와 같은 가정에서 항상 같거나 더 많이 기각 |
| Tukey HSD | FWER(모든 쌍별 비교) | 쌍별 비교에 맞춤 | 분산분석 뒤 평균의 모든 쌍을 비교할 때 |
| FDR 통제(벤자미니-호크버그) | FDR(발견 중 거짓의 비율) | 덜 보수적 | 검정이 수십~수만 개일 때(유전체, 뇌영상 등) |
상위 개념은 다중비교보정을 참고하세요.
참고 문헌
- Bonferroni, C. E. (1936). Teoria statistica delle classi e calcolo delle probabilità. Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze, 8, 3–62.
- Dunn, O. J. (1961). Multiple comparisons among means. Journal of the American Statistical Association, 56(293), 52–64.
- Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70.
- Perneger, T. V. (1998). What's wrong with Bonferroni adjustments. BMJ, 316(7139), 1236–1238.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.