2종 오류 (Type II Error)
쉽게 풀면
이번에는 반대로, 실제 불이 났는데 화재경보기가 울리지 않는 상황을 생각해보세요. 2종 오류는 실제로는 효과나 차이가 존재하는데, 통계 검정이 그것을 잡아내지 못하고 "차이가 없다"고 잘못 결론 내리는 경우입니다. 흔히 표본 크기가 너무 작거나 측정이 부정확할 때 이런 놓침이 발생합니다. 2종 오류를 범할 확률은 흔히 β로 표기하며, 이 β를 1에서 뺀 값(1-β)이 바로 실제 효과를 제대로 검출해낼 확률인 검정력입니다.
왜 중요한가
유의하지 않은 결과가 "효과가 없다"는 뜻인지, 아니면 "효과를 놓쳤다"는 뜻인지를 구분하는 일은 연구 결과를 올바르게 해석하는 데 매우 중요하기 때문에, 2종 오류와 검정력 개념은 연구설계와 결과 해석 양쪽에서 계속 다뤄집니다. 특히 신약이나 새로운 치료법의 효과가 없다고 성급히 결론짓는 것을 막기 위해, 임상연구나 정책평가 논문에서는 사전에 충분한 검정력을 확보했는지를 중요한 방법론적 근거로 제시합니다.
핵심 정리
- 2종 오류는 실제로는 차이(효과)가 있는데 귀무가설을 기각하지 못하는 오류입니다(위음성, false negative). 그 확률을 β라 쓰고, 1 − β가 검정력입니다.
- β는 하나의 고정된 숫자가 아닙니다. 실제 효과가 얼마인지에 따라 달라집니다. 효과가 크면 β가 작고, 효과가 0에 가까우면 β가 1 − α에 가까워집니다. 그래서 “이 연구의 β는 .20이다”는 “효과크기가 이 정도라고 가정하면”이라는 조건이 붙은 말입니다.
- β를 줄이는 방법: ① 표본 수를 늘린다 ② 측정을 정밀하게 해 변동을 줄인다 ③ 실제 효과가 큰 처치·조건을 비교한다 ④ 유의수준 α를 올린다(대신 1종 오류 위험이 커진다).
- 1종 오류와 2종 오류는 한쪽을 줄이면 다른 쪽이 늘어나는 관계입니다(트레이드오프). 관례상 α = .05, β = .20(검정력 .80)을 많이 쓰는데, 이는 1종 오류를 4배 더 엄격하게 막는다는 선택입니다(Cohen, 1988).
| 현실 \ 판정 | H₀ 기각 | H₀ 기각 실패 |
|---|---|---|
| H₀가 참 | 1종 오류(α) | 옳은 판정(1 − α) |
| H₀가 거짓 | 옳은 판정(검정력 1 − β) | 2종 오류(β) |
예시로 보기
예 1. z검정(가상). 평균이 100이라는 귀무가설을 σ = 15, n = 36으로 양측 α = .05에서 검정합니다. 표준오차는 15/√36 = 2.5입니다. 실제 평균이 105라면 이동량이 5/2.5 = 2.0 표준오차이므로, 기각 경계(±1.96)를 넘지 못할 확률 β = .48(검정력 .52)입니다. 실제로 5점의 차이가 있어도 두 번에 한 번은 놓칩니다.
예 2. 두 집단 t검정에서 표본 수의 효과(가상). 실제 효과가 d = 0.5(중간)이고 양측 α = .05일 때:
| 집단당 표본 수 | β(2종 오류) | 검정력 |
|---|---|---|
| 10 | .81 | .19 |
| 20 | .66 | .34 |
| 30 | .52 | .48 |
| 50 | .30 | .70 |
| 64 | .20 | .80 |
| 100 | .06 | .94 |
집단당 30명(같은 d = 0.5)에서 α를 .01로 낮추면 검정력이 .24로 떨어지고, .10으로 올리면 .61이 됩니다. 효과가 d = 0.3이면 같은 30명에서 검정력은 .21에 불과합니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| p > .05이니 효과가 없다는 것이 증명되었다. | 2종 오류일 수 있습니다. 비유의 결과는 ‘효과가 없다’가 아니라 ‘이 자료로는 효과를 확인하지 못했다’입니다. 신뢰구간이 효과가 없는 값과 의미 있는 크기의 값을 모두 포함하는지 확인합니다(Altman & Bland, 1995). |
| p값이 크면 β가 작다. | p값은 관측한 자료에서 나오고 β는 효과크기와 표본 수를 정한 뒤에 계산하는 값으로, 직접 대응하지 않습니다. |
| 연구를 끝낸 뒤 ‘관측 검정력’을 계산하면 2종 오류 가능성을 알 수 있다. | 관측 검정력은 p값의 일대일 변환일 뿐 추가 정보가 없습니다. p가 정확히 .05이면 관측 검정력은 약 50%입니다(Hoenig & Heisey, 2001). 설계 단계의 사전 검정력 분석이 의미가 있습니다. |
| 2종 오류는 1종 오류보다 덜 중요하다. | 분야에 따라 다릅니다. 새 치료의 효과를 놓치는 비용이 크거나 안전성 검정에서 이상을 놓치면 위험한 경우에는 β를 더 엄격히 둡니다. |
| 검정력이 낮은 연구는 그냥 ‘유의하지 않을’ 뿐이다. | 검정력이 낮으면 유의한 결과가 나와도 효과를 과대추정하기 쉽고 재현이 잘 안 됩니다(Button 외, 2013). |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“본 연구에서는 독립인 두 개의 정규모집단에서 두 그룹의 분산과 표본수가 같지 않을 때의 모평균 차이에 대한 검정에서 제1종 오류와 제2종 오류를 모두 고려한 경우 두 그룹의 필요한 표본크기를 결정하는 과정을 살펴보고 이를 웹사이트를 통해 구현하였다.”
정규 모집단의 모평균 차이 검정에서 표본크기와 검정력 계산의 구현, 한국데이터정보과학회지, 2013 · KCI 한국학술지인용색인 · 원문 보기 ↗
“이러한 결측은 통계분석 결과에서 1종 오류 및 2종 오류가 나타나는 것과 관련이 있다.”
범죄학 연구와 결측 : 실제 자료를 활용한 결측 대치법 비교 분석, 형사정책연구, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
실제로는 효과가 있었을지 모르지만, 표본이 작아서 그 효과를 통계적으로 유의하게 잡아내지 못했을 수 있다는 뜻입니다.
연구를 마친 뒤 실제로 확보된 검정력이 낮았음을 확인하고, 유의하지 않게 나온 결과가 실제 효과가 없어서가 아니라 검출력 부족 때문일 수 있다는 점을 논문의 한계로 밝힌 문장입니다.
조금 더 깊게 보면
2종 오류의 확률(β)은 표본 크기뿐 아니라 실제 효과크기, 측정의 변동성, 설정한 유의수준에 따라 달라지며, 이 관계를 이용해 연구 시작 전에 원하는 검정력을 달성하기 위한 표본 크기를 계산하는 것이 사전 검정력 분석입니다. 연구가 끝난 뒤 관찰된 효과크기로 검정력을 역산하는 사후 검정력 분석은 해석에 한계가 있다는 지적이 있어, 되도록 연구 설계 단계의 사전 검정력 분석을 기준으로 삼는 것이 권장됩니다.
주의할 점
연구 결과가 "유의하지 않다(n.s.)"고 나왔다고 해서 반드시 효과가 없다고 단정할 수는 없습니다. 표본 크기가 작았다면 2종 오류로 인해 실제 효과를 놓쳤을 가능성도 함께 고려해야 합니다.
헷갈리기 쉬운 용어
오류와 확률의 이름이 여럿이라 헷갈립니다.
| 용어 | 기호 | 의미 |
|---|---|---|
| 1종 오류 | α | H₀가 참인데 기각(위양성) |
| 2종 오류 | β | H₀가 거짓인데 기각 실패(위음성) |
| 검정력 | 1 − β | 실제 효과가 있을 때 기각할 확률 |
| 유의수준 | α | 1종 오류를 허용하는 한도(연구자가 사전에 정함) |
감사·금융·진단 분야의 ‘제2종 오류’도 같은 논리(있는 문제를 놓침)지만 대상이 가설이 아니라 감사의견이나 부실 판정이라는 점이 다릅니다.
참고 문헌
- Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London, Series A, 231, 289–337.
- Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum.
- Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485.
- Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24.
- Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.