유의확률 (p-value)
한 줄 정의: 유의확률은 귀무가설이 참이라고 가정했을 때, 관찰된 결과와 같거나 더 극단적인 결과가 나올 확률입니다.
쉽게 풀면
"이 결과가 정말로 아무 차이가 없는 상황(귀무가설)에서 우연히 나올 가능성이 얼마나 되는가"를 숫자로 표현한 것입니다. 이 값이 아주 작다면, 우연만으로는 설명하기 어려운 결과이므로 "차이가 있다"는 쪽으로 결론을 기울이게 됩니다. 흔히 0.05라는 기준값을 사용해서 이보다 작으면 통계적으로 유의하다고 판단하는 관습이 있습니다.
왜 중요한가
연구에서 관찰된 차이나 연관성이 우연에 의한 것인지, 실제로 존재하는 현상인지를 판단하는 기준으로 널리 쓰이기 때문에 보건학을 포함한 대부분의 실증 연구에서 필수적으로 보고됩니다. 임상시험, 역학연구, 정책 효과 평가 등 다양한 분야에서 결과 해석의 근거로 활용됩니다.
논문에서는 이렇게 쓰입니다
"두 집단 간 평균 체질량지수 차이는 통계적으로 유의하였다(p=0.02)."
귀무가설(차이가 없다) 하에서 이런 결과가 우연히 나올 확률이 낮으므로 실제 차이가 있다고 해석한 문장입니다.
"흡연 여부와 질환 발생 간의 연관성은 유의수준에 도달하지 못하였다(p=0.11)."
관찰된 연관성이 우연에 의한 것일 가능성을 배제할 만큼 충분히 작지 않았다는 의미입니다.
조금 더 깊게 보면
유의확률은 표본 크기에 큰 영향을 받아서, 표본이 매우 크면 실질적으로 작은 차이도 통계적으로 유의하게 나타날 수 있습니다. 이 때문에 유의확률만으로 판단하지 않고 신뢰구간이나 효과크기를 함께 보고하는 것이 권장됩니다.
주의할 점
유의확률이 작다고 해서 그 효과의 크기가 크다는 뜻은 아니며, 0.05라는 기준선도 절대적인 진리가 아니라 관습적으로 널리 쓰이는 기준일 뿐입니다.