양측검정과 단측검정 (one-tailed test, two-tailed test)
쉽게 풀면
새로운 학습법이 기존 학습법과 "다른 효과"가 있는지 궁금하다면, 성적이 오르든 내리든 둘 다 "차이"로 인정하는 것이 양측검정입니다. 반면 "새 학습법이 기존보다 더 낫다"는 것만 확인하고 싶다면, 성적이 오르는 방향만 살펴보는 것이 단측검정입니다. 단측검정은 한쪽 방향만 검증하기 때문에 같은 데이터로도 더 작은 p-value가 나와 유의성을 인정받기 쉬워지지만, 그만큼 반대 방향의 효과(성적이 떨어지는 경우)는 처음부터 검정 대상에서 제외하는 위험을 감수하는 것입니다.
왜 중요한가
양측검정과 단측검정 중 무엇을 선택하느냐는 단순한 계산상의 문제가 아니라 연구 가설을 얼마나 엄격하게 세웠는지를 보여주는 지표이기 때문에, 논문 심사와 재현성 논의에서 자주 점검되는 항목입니다. 특히 최근 재현성 위기(replication crisis) 논의 이후로는 사후에 유리한 방향으로 검정 방식을 바꾸는 관행(이른바 p-해킹의 한 유형)에 대한 경계가 커지면서, 어떤 검정을 왜 선택했는지 사전에 명시하는 것이 여러 학문 분야에서 점점 더 중요하게 요구되고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 "방향을 미리 예측할 만한 이론적 근거가 있어서, 그 방향만 검정했다"는 뜻입니다. 반대로 방향을 예측하기 어렵거나 보수적으로 검증하고 싶을 때는 대부분 양측검정을 기본으로 사용합니다.
임상시험처럼 예상치 못한 방향의 결과(예상과 반대로 신약이 더 나쁠 가능성)도 놓치지 않아야 하는 안전성 평가에서는 보수적인 양측검정이 기본으로 쓰입니다.
연구 사전등록(pre-registration) 관행이 자리잡은 분야에서는 단측검정 사용 여부와 방향을 데이터 수집 전에 미리 문서로 못박아 사후 선택의 여지를 차단합니다.
조금 더 깊게 보면
같은 유의수준(예: 0.05)을 쓴다고 해도, 단측검정은 분포의 한쪽 꼬리에만 그 확률을 몰아주고 양측검정은 양쪽 꼬리에 절반씩(각 0.025) 나눠 배정합니다. 그래서 동일한 데이터라도 단측검정의 임계값이 더 완만해 통계적으로 유의하다는 결론에 도달하기가 상대적으로 쉬워집니다. 이 때문에 검정력(power) 계산이나 표본 크기 설계 단계에서도 어떤 검정을 쓸지 미리 정해두어야 하며, 많은 학술지와 통계 가이드라인은 특별한 이론적 근거가 없다면 기본값으로 양측검정을 권장하는 경향이 있습니다.
주의할 점
단측검정은 유의확률를 더 쉽게 작게 만들 수 있어서, 결과를 본 뒤 유의성을 얻기 위해 사후적으로 단측검정으로 바꾸는 것은 연구 부정행위로 간주됩니다. 단측검정을 쓰려면 데이터를 보기 전, 방향에 대한 명확한 이론적 근거를 미리 논문에 밝혀야 합니다.