용어 목록 > 검정력분석 (power analysis)

검정력분석 (power analysis)

쉽게 풀면

실제로 존재하는 차이를 통계적으로 "유의하다"고 잡아낼 확률을 검정력이라고 합니다. 문제는 표본이 너무 적으면 진짜 효과가 있어도 통계 검정이 그것을 놓쳐버릴 수 있다는 것입니다.

그래서 연구자들은 자료를 다 모으고 나서 후회하는 대신, 연구를 설계하는 단계에서 "내가 검출하고 싶은 효과크기가 이 정도이고, 유의수준을 0.05로 잡는다면, 검정력을 80% 이상 확보하기 위해서는 최소 몇 명이 필요할까?"를 미리 계산합니다. 이 계산 과정 전체가 검정력분석입니다.

즉 검정력 그 자체가 아니라, 원하는 검정력을 얻기 위해 필요한 표본크기를 역산하는 사전 절차를 가리킵니다.

왜 중요한가

검정력분석은 연구 설계 단계에서 표본이 지나치게 적어 실제 효과를 놓치는 실패를 미리 방지하고, 동시에 불필요하게 많은 참가자를 모집해 자원과 윤리적 부담을 낭비하지 않도록 균형을 잡아주는 절차이기 때문에 대부분의 실증연구 분야에서 필수적으로 다뤄집니다. 최근에는 재현성 위기(replication crisis)에 대한 문제의식이 커지면서, 사전등록된 연구계획서에 검정력분석 결과를 명시하는 관행이 더욱 강조되고 있습니다.

어떤 절차인가

검정력분석은 분석 전에 표본 크기를 정할 때 가장 흔히 씁니다. 네 가지 양 중 세 가지를 정하면 나머지 하나가 정해집니다.

1. 유의수준(α): 보통 .05(양측)로 둡니다.
2. 목표 검정력(1−β): 흔히 .80 또는 .90을 씁니다.
3. 예상 효과크기: 선행연구, 최소한 의미 있는 크기, 파일럿에서 가져옵니다. Cohen(1988)의 작음·중간·큼 기준(평균 차이에서 d = 0.2, 0.5, 0.8)은 근거가 없을 때의 참고 규약일 뿐 보편적 기준이 아닙니다.
4. 표본 크기 계산: 소프트웨어(예: G*Power, Faul 등, 2007)로 해당 검정에 맞는 값을 구합니다.
5. 탈락 보정: 예상 탈락률로 나눠 모집 인원을 늘립니다.

독립표본 t검정(양측, 집단당 인원)을 정확한 비중심 t분포로 계산한 값은 다음과 같습니다.

탈락을 15%로 예상하면 d = 0.5인 경우 집단당 64 ÷ 0.85 ≈ 75.3, 즉 76명을 모집합니다.

언제 쓰고 무엇을 얻나

이럴 때 씁니다. 연구 계획서와 연구비 신청, 윤리 심의, 사전등록에서 표본 크기를 정당화할 때, 이미 표본이 정해져 있을 때는 검출 가능한 최소 효과크기를 알아보는 민감도 분석에 씁니다.

읽는 법. d = 0.5, 집단당 30명이면 검정력은 약 .48입니다. 즉 실제로 중간 정도의 차이가 있어도 두 번 중 한 번 넘게 유의하지 않게 나옵니다. 그래서 작은 표본에서 유의하지 않은 결과를 “효과 없음”으로 읽으면 안 됩니다.

한계.

• 결과는 입력한 효과크기에 크게 좌우됩니다. 선행연구의 효과크기는 출판편향 때문에 부풀려진 경우가 많아 실제보다 낙관적인 표본 크기가 나올 수 있습니다.
• 분석 방법(회귀, 반복측정, 다층모형 등)마다 계산식이 다르므로 맞는 방법을 골라야 합니다.
• 연구 후에 관측된 효과크기로 계산하는 사후 검정력은 p값과 일대일로 대응해 새로운 정보가 없습니다(Hoenig & Heisey, 2001).
• 표본 크기는 검정력 하나로만 정하지 않으며 정밀도와 자원 같은 근거를 함께 제시할 수 있습니다(Lakens, 2022).

논문에는 이렇게 적는다

• 사용한 분석 방법과 α(양측/단측), 목표 검정력
• 가정한 효과크기와 그 근거(선행연구, 최소 의미 있는 차이, 파일럿)
• 계산 도구(소프트웨어와 버전)와 산출된 인원, 탈락 보정 후 최종 모집 인원
• 사전에 계산하지 못했다면 민감도 분석으로 검출 가능한 효과크기를 보고

예시 문장은 다음과 같습니다(가상의 예).

“G*Power 3.1로 독립표본 t검정(양측, α = .05, 검정력 .80, d = 0.5)을 가정하여 집단당 64명이 필요함을 확인하였다. 탈락률 15%를 고려하여 집단당 76명을 모집하였다.”

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 "실험을 시작하기 전에 몇 명을 모집해야 원하는 만큼의 차이를 통계적으로 놓치지 않고 잡아낼 수 있는지 미리 계산했다"는 뜻입니다. 이렇게 산출된 표본크기는 연구계획서나 IRB 심사에서 표본 규모의 근거로 제시됩니다.

동물실험에서 검정력분석이 통계적 타당성과 동물복지 원칙을 동시에 충족시키는 근거로 활용되는 사례다.

개별 연구뿐 아니라 메타분석 설계 단계에서도 검정력분석이 활용될 수 있음을 보여준다.

조금 더 깊게 보면

검정력분석은 사전(a priori) 분석과 사후(post-hoc) 분석으로 구분되는데, 연구 설계 단계에서 필요한 표본크기를 미리 계산하는 사전 분석이 원칙적으로 권장되는 방식입니다.

연구가 끝난 뒤 관찰된 효과크기를 그대로 대입해 검정력을 계산하는 사후 검정력분석은 유의하지 않은 결과와 사실상 동일한 정보만 제공한다는 방법론적 비판이 있어, 논문에서 사후 검정력을 근거로 결과를 정당화하는 경우 신중하게 해석해야 합니다.

또한 단순 평균 비교뿐 아니라 회귀분석, 반복측정, 다층모형 등 분석 방법에 따라 검정력을 계산하는 공식과 입력 변수가 달라진다는 점도 함께 알아두면 유용합니다.

주의할 점

검정력분석에서 말하는 검정력은 검정력 개념 자체를 계산에 사용하는 것일 뿐, 검정력분석과 검정력은 같은 말이 아닙니다. 검정력이 "진짜 효과를 실제로 검출해낼 확률"이라는 개념이라면, 검정력분석은 그 확률을 목표치만큼 확보하기 위해 필요한 표본크기를 미리 계산하는 구체적인 절차입니다.

헷갈리기 쉬운 용어

검정력분석은 여러 개념이 모인 절차입니다.

참고 문헌

1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.
2. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159.
3. Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24.
4. Faul, F., Erdfelder, E., Lang, A.-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39(2), 175–191.
5. Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), 33267.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어