효과크기 (Effect Size)
쉽게 풀면
유의확률는 "이 차이가 우연이 아닐 가능성이 높다"는 것만 말해줄 뿐, 그 차이가 실제로 크고 의미 있는지는 알려주지 않습니다. 예를 들어 참가자가 10만 명이면 아주 작은 차이(키 0.1cm 차이 같은)도 p-value가 작게(유의하게) 나올 수 있습니다. 효과크기는 이런 함정을 피하기 위해 "그래서 그 차이가 실제로 얼마나 큰가"를 별도로 계산한 값입니다. 예를 들어 Cohen's d라는 지표는 보통 0.2는 작은 효과, 0.5는 중간, 0.8 이상은 큰 효과로 해석합니다.
왜 중요한가
표본 크기가 커질수록 아주 작은 차이도 통계적으로 유의하게 나올 수 있기 때문에, 효과크기는 연구 결과가 실무나 임상에서 실제로 의미가 있는지를 판단하는 핵심 근거로 다뤄집니다. 메타분석에서는 여러 연구의 결과를 하나의 척도로 통합해 비교하기 위해 효과크기가 필수적으로 사용되며, 연구 설계 단계에서 필요한 표본 크기를 계산할 때도 예상 효과크기가 기준이 됩니다. 이 때문에 재현성 논의나 연구 결과의 실질적 중요성을 다투는 논문에서 효과크기 보고는 점점 더 표준적인 관행으로 자리잡고 있습니다.
논문에서는 이렇게 쓰입니다
차이가 우연이 아닌 건 맞지만, 그 차이의 실질적인 크기는 크지 않다는 뜻입니다.
임상심리학 메타분석에서는 서로 다른 개별 연구들의 결과를 표준화된 효과크기로 환산해 통합함으로써, 특정 치료법의 전반적인 효과 수준을 종합적으로 제시하는 예입니다.
사회과학 연구에서는 상관계수 자체를 효과크기의 한 형태로 사용해, 통계적 유의성과 별개로 두 변수 간 관계의 실질적 강도를 보고하는 예입니다.
조금 더 깊게 보면
효과크기는 연구 설계에 따라 서로 다른 지표로 표현됩니다. 두 집단 평균 차이에는 Cohen's d나 Hedges' g가, 변수 간 관계에는 상관계수(r)나 결정계수(R²)가, 범주형 자료에는 오즈비나 위험비가 주로 쓰입니다. 표본이 작을 때는 Cohen's d가 모집단 효과크기를 다소 과대추정하는 경향이 있어 이를 보정한 Hedges' g가 대안으로 쓰이기도 합니다. 또한 효과크기 해석 기준(작음·중간·큼)은 연구 분야마다 통용되는 관행이 다를 수 있으므로, 해당 분야의 선행연구와 비교하며 읽는 것이 바람직합니다.
주의할 점
"통계적으로 유의하다"는 말과 "효과가 크다"는 말은 서로 다른 이야기입니다. 논문을 읽을 때 p-value만 보지 말고 효과크기가 함께 보고되어 있는지, 그 값이 실질적으로 의미 있는 수준인지 확인하는 것이 중요합니다.