2종 오류 (Type II Error)
쉽게 풀면
이번에는 반대로, 실제 불이 났는데 화재경보기가 울리지 않는 상황을 생각해보세요. 2종 오류는 실제로는 효과나 차이가 존재하는데, 통계 검정이 그것을 잡아내지 못하고 "차이가 없다"고 잘못 결론 내리는 경우입니다. 흔히 표본 크기가 너무 작거나 측정이 부정확할 때 이런 놓침이 발생합니다. 2종 오류를 범할 확률은 흔히 β로 표기하며, 이 β를 1에서 뺀 값(1-β)이 바로 실제 효과를 제대로 검출해낼 확률인 검정력입니다.
왜 중요한가
유의하지 않은 결과가 "효과가 없다"는 뜻인지, 아니면 "효과를 놓쳤다"는 뜻인지를 구분하는 일은 연구 결과를 올바르게 해석하는 데 매우 중요하기 때문에, 2종 오류와 검정력 개념은 연구설계와 결과 해석 양쪽에서 계속 다뤄집니다. 특히 신약이나 새로운 치료법의 효과가 없다고 성급히 결론짓는 것을 막기 위해, 임상연구나 정책평가 논문에서는 사전에 충분한 검정력을 확보했는지를 중요한 방법론적 근거로 제시합니다.
논문에서는 이렇게 쓰입니다
실제로는 효과가 있었을지 모르지만, 표본이 작아서 그 효과를 통계적으로 유의하게 잡아내지 못했을 수 있다는 뜻입니다.
연구를 마친 뒤 실제로 확보된 검정력이 낮았음을 확인하고, 유의하지 않게 나온 결과가 실제 효과가 없어서가 아니라 검출력 부족 때문일 수 있다는 점을 논문의 한계로 밝힌 문장입니다.
조금 더 깊게 보면
2종 오류의 확률(β)은 표본 크기뿐 아니라 실제 효과크기, 측정의 변동성, 설정한 유의수준에 따라 달라지며, 이 관계를 이용해 연구 시작 전에 원하는 검정력을 달성하기 위한 표본 크기를 계산하는 것이 사전 검정력 분석입니다. 연구가 끝난 뒤 관찰된 효과크기로 검정력을 역산하는 사후 검정력 분석은 해석에 한계가 있다는 지적이 있어, 되도록 연구 설계 단계의 사전 검정력 분석을 기준으로 삼는 것이 권장됩니다.
주의할 점
연구 결과가 "유의하지 않다(n.s.)"고 나왔다고 해서 반드시 효과가 없다고 단정할 수는 없습니다. 표본 크기가 작았다면 2종 오류로 인해 실제 효과를 놓쳤을 가능성도 함께 고려해야 합니다.