유의수준 (Significance Level)
쉽게 풀면
유의확률이 "실제로 계산해서 나온 결과값"이라면, 유의수준은 그 결과를 판단하기 위해 연구자가 실험을 시작하기 전에 미리 정해두는 "합격선"입니다. 가장 흔히 쓰는 기준은 0.05(5%)로, "우연히 이런 결과가 나올 확률이 5%보다 작으면 우연이 아니라고 보겠다"는 약속입니다. p-value가 이 유의수준보다 작으면 "통계적으로 유의하다"고 판단합니다.
왜 중요한가
유의수준은 통계적 가설검정의 판단 기준을 사전에 명시함으로써 연구자가 결과를 보고 기준을 유리하게 바꾸는 것을 막아주는 장치이기 때문에, 통계적 검정을 포함하는 거의 모든 실증 연구 논문의 방법론에서 반드시 명시됩니다. 유의수준 설정은 1종 오류(실제로 차이가 없는데 있다고 잘못 판단할 위험)를 얼마나 감수할지에 대한 연구자의 결정이므로, 임상시험처럼 잘못된 판단의 대가가 큰 분야에서는 이 기준을 특히 엄격하게 다룹니다.
논문에서는 이렇게 쓰입니다
이 연구는 p-value가 0.05보다 작을 때만 "우연이 아니다"라고 인정하기로 미리 정했다는 뜻입니다.
여러 번 검정을 반복할 때 우연히 유의한 결과가 나올 위험을 줄이기 위해 유의수준 자체를 더 엄격하게 낮춘 예이다.
결과 오판의 위험이 큰 임상 연구에서 통상보다 엄격한 유의수준을 채택한 사례를 보여준다.
조금 더 깊게 보면
유의수준(α)은 1종 오류의 허용 확률을 의미하며, 이와 짝을 이루는 2종 오류(실제로 차이가 있는데 없다고 놓치는 오류, β)와는 상충 관계에 있어 유의수준을 너무 낮추면 검정력이 떨어질 수 있습니다. 여러 개의 가설을 동시에 검정할 때는 우연히 유의한 결과가 나올 확률이 누적되는 다중비교 문제가 발생하는데, 이를 보정하기 위해 본페로니 보정이나 위양성발견율(FDR) 통제 같은 방법으로 유의수준을 조정하는 것이 일반적입니다.
주의할 점
유의수준 0.05는 관행일 뿐 절대적인 법칙은 아닙니다. 분야나 연구 목적에 따라 0.01처럼 더 엄격한 기준을 쓰기도 합니다. p-value와 유의수준을 헷갈리기 쉬운데, 유의수준은 "미리 정한 기준", p-value는 "실제로 계산된 값"이라는 차이를 기억하면 됩니다.