용어 목록 > 유의확률 (p-value)

유의확률 (p-value)

통계 연구방법론
한 줄 정의: 귀무가설이 참이라고 가정할 때, 지금 관찰된 것 이상으로 극단적인 결과가 나올 확률을 나타내는 숫자입니다.

쉽게 풀면

동전을 10번 던졌더니 앞면이 9번 나왔다고 해봅시다. "이 동전이 원래부터 앞면이 잘 나오게 조작된 것 아닐까?" 하는 의심이 들 겁니다. p-value는 바로 이런 의심을 숫자로 표현한 것입니다. "만약 동전이 정상이라는 전제(우연일 뿐이라는 전제)가 맞다면, 이런 결과(혹은 더 극단적인 결과)가 나올 확률이 몇 %일까?"를 계산한 값이 p-value입니다. 이 값이 작을수록(보통 0.05, 즉 5% 미만) "우연이라고 보기엔 너무 이상하다 → 뭔가 진짜 효과가 있는 것 같다"고 판단합니다.

왜 중요한가

p-value는 실험이나 조사에서 관찰된 차이가 우연인지 실제 효과인지를 판단하는 가장 널리 쓰이는 기준이기 때문에, 거의 모든 실증 연구 논문에서 결과를 보고할 때 등장합니다. 동시에 이 값 하나에 지나치게 의존해 연구 결과를 판단하는 관행이 재현성 위기나 p-해킹 같은 문제를 낳는다는 비판도 함께 제기되면서, 통계학과 연구방법론 논문에서 p-value의 올바른 해석과 한계를 다루는 논의도 활발합니다. 그래서 최근에는 p-value와 함께 효과크기나 신뢰구간을 함께 보고하도록 권장하는 학술지가 늘고 있습니다.

계산과 범위

p값은 “귀무가설이 참이라고 가정할 때, 지금 얻은 검정통계량 이상으로 극단적인 값이 나올 확률”입니다.

양측검정: p = P(|T| ≥ |t관측| | H₀)

작은 예. 동전을 10번 던져 앞면이 9번 나왔을 때, 공정한 동전(앞면 확률 .5)이라는 귀무가설 아래에서 “앞면이 9번 이상” 나올 확률은 (10 + 1)/1,024 ≈ .0107이므로 단측검정 p ≈ .011, 반대쪽 극단(뒷면 9번 이상)까지 포함한 양측검정 p ≈ .021입니다. 즉 이 동전이 공정할 확률이 2.1%라는 말이 아니라, “공정한 동전이라면 이 정도로 치우친 결과는 약 2%만 나온다”는 뜻입니다.

해석 기준

.05라는 문턱은 Fisher(1925)가 “편리한 기준”으로 제안한 이래 굳어진 관례이며, 자연법칙이 아닙니다. 논문 표에서는 보통 다음 표시를 씁니다.

표기p 범위읽는 법
*p < .05관례상 ‘통계적으로 유의’
**p < .01더 강한 증거로 서술하는 관례
***p < .001매우 작은 p. 효과가 크다는 뜻은 아님
없음p ≥ .05‘차이가 없다’가 아니라 ‘이 자료로는 차이를 확신하기 어렵다’

2016년 미국통계학회(ASA)는 p값에 대한 성명에서 (1) p값은 가설이 참일 확률이 아니고, (2) 결론이나 정책 결정을 p가 어떤 문턱을 넘었는지만으로 해서는 안 되며, (3) p값은 효과의 크기나 중요성을 재지 않는다는 원칙을 밝혔습니다(Wasserstein & Lazar, 2016). 일부 연구자는 새로운 발견의 기준을 .005로 낮추자고 제안하기도 했습니다(Benjamin 외, 2018). 표본이 아주 크면 사소한 차이도 p가 작아지므로, 해석은 항상 효과크기·신뢰구간과 함께 해야 합니다.

보고 방법

가능하면 ‘p < .05’ 대신 정확한 p값을 적고, 통계량·자유도·효과크기·신뢰구간과 함께 제시합니다. (수치는 형식을 보여 주려는 가상의 값입니다.)

두 집단의 점수 차이는 통계적으로 유의하였다(t(58) = 2.10, p = .040, d = 0.54, 95% CI [0.03, 1.06]).

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"실험군과 대조군의 평균 점수 차이는 통계적으로 유의했다 (p < 0.05)."

이 문장은 "두 그룹에 차이가 없다(귀무가설)면 이만큼 큰 차이는 5% 미만으로만 나오므로, 귀무가설과 양립하기 어렵다고 본다"는 뜻입니다.

"새로운 치료법을 적용한 환자군의 증상 개선율은 대조군에 비해 유의하게 높았다 (p = .012)."

임상연구에서 치료 효과가 우연이라고 보기 어려운 수준임을 구체적인 p값으로 제시한 예문이다.

"광고 유형에 따른 소비자 구매의도 차이는 통계적으로 유의하지 않았다 (p = .21)."

마케팅 연구에서 집단 간 차이가 우연의 범위 안에 있어 유의한 차이로 보기 어렵다고 보고한 사례이다.

조금 더 깊게 보면

p-value는 "귀무가설(효과가 없다는 가정)이 참일 때, 지금 관찰된 결과 혹은 그보다 더 극단적인 결과가 나올 확률"로 정의됩니다. 여기서 흔히 하는 오해는 p-value를 "귀무가설이 참일 확률"로 잘못 해석하는 것인데, 이는 통계적으로 정확한 해석이 아닙니다. 또한 표본 크기가 커지면 아주 작은 차이도 유의하게 나오기 쉬워지기 때문에, 통계적 유의성과 실질적으로 의미 있는 차이는 구분해서 봐야 하며, 이를 보완하기 위해 효과크기나 신뢰구간을 함께 보고하는 것이 최근 권장되는 방식입니다.

주의할 점

p-value가 작다고 해서 그 효과가 "크다"거나 "중요하다"는 뜻은 아닙니다. 단지 "귀무가설이 참이라면 이런 결과는 드물다"는 뜻일 뿐이며, 효과의 실질적인 크기는 효과크기로 따로 확인해야 합니다.

헷갈리기 쉬운 용어

유의확률과 유의수준은 이름이 비슷하지만 하나는 자료에서 나오고 하나는 연구자가 미리 정합니다.

용어누가 정하나무엇인가
유의확률(p값)자료와 검정이 정함귀무가설 아래에서 관측값 이상으로 극단적인 결과가 나올 확률
유의수준(α)연구자가 분석 전에 정함(보통 .05)귀무가설이 참일 때 잘못 기각하는 확률의 허용 한도
1종 오류—귀무가설이 참인데 기각하는 오류. 그 확률의 상한이 α
신뢰구간신뢰수준(95% 등)을 연구자가 정함효과의 크기와 불확실성을 함께 보여 줌
효과크기자료에서 계산효과가 얼마나 큰지 — p값은 이를 알려 주지 않음

“p < α이면 귀무가설을 기각한다”가 판단 규칙이고, 이때 p 자체는 α와 비교되는 숫자입니다.

참고 문헌

  1. Fisher, R. A. (1925). Statistical Methods for Research Workers. Oliver and Boyd.
  2. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133.
  3. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350.
  4. Benjamin, D. J., Berger, J. O., Johannesson, M., et al. (2018). Redefine statistical significance. Nature Human Behaviour, 2, 6–10.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어

유의수준 신뢰구간 효과크기 상관관계 표본크기 분산분석 t검정 검정력 다중비교보정