메타분석 조절효과분석 (meta-analytic moderator analysis)

한 줄 정의: 메타분석에서 연구 간 효과크기의 차이(이질성)를 설명할 수 있는 특성 변수(조절변수)를 찾아 그 효과를 통계적으로 검토하는 분석이다.

쉽게 풀면

여러 연구를 합쳤을 때 결과가 들쭉날쭉하다면, 그 차이를 만드는 원인이 무엇인지 알고 싶어집니다. 예를 들어 연구 대상의 연령대나 개입 기간에 따라 효과 크기가 다르게 나타날 수 있습니다. 메타분석 조절효과분석은 이런 연구 특성들을 변수로 놓고, 그것이 효과크기 차이를 얼마나 설명하는지 통계적으로 검토하는 절차입니다. 이를 통해 "어떤 조건에서 효과가 더 크게 나타나는가"를 밝힐 수 있습니다.

왜 중요한가

메타분석에서 이질성이 높게 나타났을 때, 그저 "연구들이 다르다"는 사실만 확인하고 끝내는 것이 아니라 그 차이를 만드는 구체적인 조건을 밝혀야 결과가 실무나 정책에 실질적인 시사점을 줄 수 있습니다. 조절효과분석은 어떤 대상, 어떤 환경, 어떤 개입 방식에서 효과가 더 크거나 작게 나타나는지를 규명함으로써, 단순한 전체 평균 효과를 넘어 더 정교한 결론을 도출할 수 있게 해주기 때문에 메타분석을 활용하는 대부분의 분야에서 후속 분석으로 중요하게 다뤄집니다.

논문에서는 이렇게 쓰입니다

"메타회귀분석을 통한 조절효과분석 결과, 개입 기간이 길수록 효과크기가 유의하게 증가하는 것으로 나타났다."

이질성의 원인을 조절변수로 설명한 메타분석 결과를 보고하는 문장이다.

"연구가 수행된 국가의 소득수준을 조절변수로 투입한 결과, 저소득 국가를 대상으로 한 연구에서 프로그램의 효과크기가 더 크게 나타났다."

보건·정책 분야의 메타분석에서는 연구 대상 국가나 지역의 특성을 조절변수로 삼아, 특정 맥락에서 개입의 효과가 더 두드러지는지를 검토하는 방식으로 활용된다.

"연구 설계 유형(무작위대조시험 대 준실험설계)을 조절변수로 분석한 결과, 연구 설계의 엄격성 수준에 따라 보고된 효과크기에 유의한 차이가 있었다."

방법론 연구에서는 연구의 질적 특성 자체를 조절변수로 삼아, 설계가 엄격한 연구와 그렇지 않은 연구 사이에 결과가 체계적으로 다르게 나타나는지를 점검하는 데 조절효과분석이 쓰인다.

조금 더 깊게 보면

조절효과분석은 흔히 각 연구를 조절변수의 범주별로 나누어 하위군 별로 효과크기를 비교하는 하위군 분석(subgroup analysis)이나, 조절변수를 연속형으로 놓고 효과크기와의 관계를 회귀식으로 추정하는 메타회귀분석(meta-regression)의 형태로 수행됩니다. 다만 이때 사용하는 조절변수는 개별 참여자 수준이 아니라 연구 전체를 하나의 단위로 요약한 값이라는 점에서, 개인 수준에서 성립하는 관계로 곧바로 해석하면 안 된다는 점(생태학적 오류)이 방법론적으로 자주 지적됩니다.

주의할 점

조절효과분석은 개인 수준이 아닌 연구 수준의 자료를 사용하므로, 생태학적 오류의 위험이 있어 개인 수준 관계로 직접 확대해석하지 않도록 주의해야 한다.