검정력분석 (power analysis)

한 줄 정의: 연구를 시작하기 전에 원하는 검정력을 확보하려면 표본크기가 얼마나 필요한지, 효과크기와 유의수준을 바탕으로 미리 계산하는 절차입니다.

쉽게 풀면

실제로 존재하는 차이를 통계적으로 "유의하다"고 잡아낼 확률을 검정력이라고 합니다. 문제는 표본이 너무 적으면 진짜 효과가 있어도 통계 검정이 그것을 놓쳐버릴 수 있다는 것입니다. 그래서 연구자들은 자료를 다 모으고 나서 후회하는 대신, 연구를 설계하는 단계에서 "내가 검출하고 싶은 효과크기가 이 정도이고, 유의수준을 0.05로 잡는다면, 검정력을 80% 이상 확보하기 위해서는 최소 몇 명이 필요할까?"를 미리 계산합니다. 이 계산 과정 전체가 검정력분석입니다. 즉 검정력 그 자체가 아니라, 원하는 검정력을 얻기 위해 필요한 표본크기를 역산하는 사전 절차를 가리킵니다.

왜 중요한가

검정력분석은 연구 설계 단계에서 표본이 지나치게 적어 실제 효과를 놓치는 실패를 미리 방지하고, 동시에 불필요하게 많은 참가자를 모집해 자원과 윤리적 부담을 낭비하지 않도록 균형을 잡아주는 절차이기 때문에 대부분의 실증연구 분야에서 필수적으로 다뤄집니다. 최근에는 재현성 위기(replication crisis)에 대한 문제의식이 커지면서, 사전등록된 연구계획서에 검정력분석 결과를 명시하는 관행이 더욱 강조되고 있습니다.

논문에서는 이렇게 쓰입니다

"G*Power 프로그램을 이용해 검정력분석을 실시한 결과, 유의수준 .05, 검정력 .80, 효과크기 .25 기준으로 최소 128명의 표본이 필요한 것으로 나타났다."

이 문장은 "실험을 시작하기 전에 몇 명을 모집해야 원하는 만큼의 차이를 통계적으로 놓치지 않고 잡아낼 수 있는지 미리 계산했다"는 뜻입니다. 이렇게 산출된 표본크기는 연구계획서나 IRB 심사에서 표본 규모의 근거로 제시됩니다.

"사전 검정력분석 결과에 따라 각 실험군에 최소 15마리의 동물이 배정되었으며, 이는 3R 원칙 중 감소 원칙에도 부합하는 수준으로 판단되었다."

동물실험에서 검정력분석이 통계적 타당성과 동물복지 원칙을 동시에 충족시키는 근거로 활용되는 사례다.

"메타분석에 포함할 연구 수를 사전에 검정력분석으로 추정한 결과, 중간 정도의 효과크기를 검출하려면 최소 12편의 연구가 필요한 것으로 나타났다."

개별 연구뿐 아니라 메타분석 설계 단계에서도 검정력분석이 활용될 수 있음을 보여준다.

조금 더 깊게 보면

검정력분석은 사전(a priori) 분석과 사후(post-hoc) 분석으로 구분되는데, 연구 설계 단계에서 필요한 표본크기를 미리 계산하는 사전 분석이 원칙적으로 권장되는 방식입니다. 연구가 끝난 뒤 관찰된 효과크기를 그대로 대입해 검정력을 계산하는 사후 검정력분석은 유의하지 않은 결과와 사실상 동일한 정보만 제공한다는 방법론적 비판이 있어, 논문에서 사후 검정력을 근거로 결과를 정당화하는 경우 신중하게 해석해야 합니다. 또한 단순 평균 비교뿐 아니라 회귀분석, 반복측정, 다층모형 등 분석 방법에 따라 검정력을 계산하는 공식과 입력 변수가 달라진다는 점도 함께 알아두면 유용합니다.

주의할 점

검정력분석에서 말하는 검정력은 검정력 개념 자체를 계산에 사용하는 것일 뿐, 검정력분석과 검정력은 같은 말이 아닙니다. 검정력이 "진짜 효과를 실제로 검출해낼 확률"이라는 개념이라면, 검정력분석은 그 확률을 목표치만큼 확보하기 위해 필요한 표본크기를 미리 계산하는 구체적인 절차입니다.