유의확률 (p-value)
쉽게 풀면
동전을 10번 던졌더니 앞면이 9번 나왔다고 해봅시다. "이 동전이 원래부터 앞면이 잘 나오게 조작된 것 아닐까?" 하는 의심이 들 겁니다. p-value는 바로 이런 의심을 숫자로 표현한 것입니다. "만약 동전이 정상이라는 전제(우연일 뿐이라는 전제)가 맞다면, 이런 결과(혹은 더 극단적인 결과)가 나올 확률이 몇 %일까?"를 계산한 값이 p-value입니다. 이 값이 작을수록(보통 0.05, 즉 5% 미만) "우연이라고 보기엔 너무 이상하다 → 뭔가 진짜 효과가 있는 것 같다"고 판단합니다.
왜 중요한가
p-value는 실험이나 조사에서 관찰된 차이가 우연인지 실제 효과인지를 판단하는 가장 널리 쓰이는 기준이기 때문에, 거의 모든 실증 연구 논문에서 결과를 보고할 때 등장합니다. 동시에 이 값 하나에 지나치게 의존해 연구 결과를 판단하는 관행이 재현성 위기나 p-해킹 같은 문제를 낳는다는 비판도 함께 제기되면서, 통계학과 연구방법론 논문에서 p-value의 올바른 해석과 한계를 다루는 논의도 활발합니다. 그래서 최근에는 p-value와 함께 효과크기나 신뢰구간을 함께 보고하도록 권장하는 학술지가 늘고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 "두 그룹의 차이가 우연히 생겼을 가능성이 5% 미만이므로, 실제로 의미 있는 차이라고 본다"는 뜻입니다.
임상연구에서 치료 효과가 우연이라고 보기 어려운 수준임을 구체적인 p값으로 제시한 예문이다.
마케팅 연구에서 집단 간 차이가 우연의 범위 안에 있어 유의한 차이로 보기 어렵다고 보고한 사례이다.
조금 더 깊게 보면
p-value는 "귀무가설(효과가 없다는 가정)이 참일 때, 지금 관찰된 결과 혹은 그보다 더 극단적인 결과가 나올 확률"로 정의됩니다. 여기서 흔히 하는 오해는 p-value를 "귀무가설이 참일 확률"로 잘못 해석하는 것인데, 이는 통계적으로 정확한 해석이 아닙니다. 또한 표본 크기가 커지면 아주 작은 차이도 유의하게 나오기 쉬워지기 때문에, 통계적 유의성과 실질적으로 의미 있는 차이는 구분해서 봐야 하며, 이를 보완하기 위해 효과크기나 신뢰구간을 함께 보고하는 것이 최근 권장되는 방식입니다.
주의할 점
p-value가 작다고 해서 그 효과가 "크다"거나 "중요하다"는 뜻은 아닙니다. 단지 "우연이 아닐 가능성이 높다"는 뜻일 뿐이며, 효과의 실질적인 크기는 효과크기로 따로 확인해야 합니다.