통계적 검정력 분석 (Statistical Power Analysis)
쉽게 풀면
연구를 시작하기 전에 '이 정도 표본크기로 조사하면 진짜 존재하는 효과를 통계적으로 발견해낼 확률이 얼마나 될까'를 미리 계산해보는 절차다. 표본이 너무 작으면 실제로 효과가 있는데도 통계적으로 유의하지 않게 나올 위험(2종 오류)이 커진다. 반대로 원하는 검정력(보통 80% 이상)을 얻으려면 표본이 최소한 몇 명 필요한지도 이 분석을 통해 계산할 수 있다.
왜 중요한가
표본크기가 부족한 연구는 실제로 존재하는 효과조차 통계적으로 유의하게 검출하지 못해 결과가 "효과 없음"으로 잘못 보고될 위험이 커집니다. 최근 많은 학술지와 연구윤리위원회, 연구비 지원기관이 사전 검정력 분석 보고를 사실상 요구하고 있어, 이 절차는 연구 설계 단계의 필수 검토 항목으로 자리 잡았습니다. 또한 검정력 분석은 한정된 연구비와 시간 안에서 표본을 어느 정도 모아야 하는지 계획하는 실용적 근거를 제공하기 때문에 실험연구와 설문조사연구 모두에서 폭넓게 쓰입니다.
논문에서는 이렇게 쓰입니다
원하는 검정 성능을 얻기 위해 필요한 최소 표본수를 사전에 계산했더니 집단당 88명이 필요했다는 뜻이다.
임상연구에서는 참가자 중도 탈락(dropout)을 감안해 필요한 순수 표본수보다 여유를 두고 모집 목표를 정하는 경우가 흔하며, 이 역시 검정력 분석 결과를 바탕으로 조정된다.
이미 수집된 자료로 사후에 계산한 검정력이 낮게 나온 경우로, 사회과학이나 소규모 실험연구의 한계점을 논의할 때 자주 언급되는 문장 형태이다.
조금 더 깊게 보면
검정력 분석은 유의수준, 예상 효과크기, 표본크기, 검정력이라는 네 요소 중 세 가지를 정하면 나머지 하나를 계산하는 방식으로 작동한다. 사전(a priori) 분석은 연구 설계 단계에서 필요한 표본크기를 구하는 데 쓰이고, 사후(post-hoc) 분석은 이미 얻은 결과의 검정력을 역산하는 데 쓰이지만 사후 검정력은 해석에 논란이 있어 신중하게 다뤄야 한다는 지적이 많다. G*Power와 같은 전용 소프트웨어나 R의 pwr 패키지가 실무에서 널리 쓰인다.
주의할 점
검정력 분석에 입력하는 예상 효과크기를 지나치게 낙관적으로 설정하면 실제 연구에서는 표본이 부족해질 수 있다.