메타분석 (Meta-analysis)
쉽게 풀면
어떤 약이 효과가 있는지 알아보려고 전 세계에서 100개의 연구가 각각 진행됐다고 해봅시다. 어떤 연구는 효과가 있다고 하고, 어떤 연구는 없다고 하고, 표본 크기도 제각각입니다. 메타분석은 이 100개 연구의 결과를 하나로 모아서, 표본 크기와 연구 품질까지 고려한 "전체적으로 봤을 때의 결론"을 통계적으로 계산해내는 방법입니다. 낱개의 연구보다 훨씬 신뢰도가 높은 결론으로 취급받습니다.
왜 중요한가
메타분석은 개별 연구 하나만으로는 표본 크기나 연구 설계의 한계로 결론을 확신하기 어려운 상황에서, 여러 연구의 증거를 통계적으로 종합해 더 신뢰할 수 있는 결론에 도달하게 해주기 때문에 근거기반 의학, 심리학, 교육학, 정책 연구 등 실증적 결론이 중요한 거의 모든 분야에서 핵심적인 연구 방법으로 다뤄집니다. 특히 개별 연구들의 결과가 서로 엇갈릴 때, 무엇이 전체적인 경향인지를 정량적으로 판단할 수 있는 거의 유일한 방법이라는 점에서 체계적 문헌고찰과 함께 근거의 위계에서 가장 높은 수준으로 취급됩니다.
논문에서는 이렇게 쓰입니다
여러 개별 연구 결과를 하나로 합쳐서 계산했더니, 치료법의 효과가 통계적으로 확인됐다는 뜻입니다.
교육학 분야에서도 여러 학교나 지역에서 독립적으로 수행된 연구들을 하나로 모아, 특정 교육 프로그램이 전반적으로 효과가 있는지를 검증하는 방식으로 메타분석이 쓰입니다.
경영학·조직심리학 분야에서는 개별 실증 연구마다 상관계수가 조금씩 다르게 보고되더라도, 메타분석을 통해 전체적으로 일관된 방향성이 존재하는지를 확인하는 데 활용됩니다.
조금 더 깊게 보면
메타분석을 수행할 때는 연구마다 표본 크기나 정밀도가 다르다는 점을 반영해 각 연구에 서로 다른 가중치를 부여하는데, 연구 간 결과가 동일한 참값을 공유한다고 가정하는 고정효과 모형과 연구마다 다른 참값을 가질 수 있다고 가정하는 랜덤효과 모형 중 하나를 선택하는 것이 중요한 절차로 다뤄집니다. 또한 결과를 시각적으로 요약하는 숲그림(forest plot), 연구 간 결과 차이의 정도를 나타내는 이질성 지표, 그리고 효과가 작거나 부정적인 연구가 출판에서 누락되었을 가능성을 점검하는 출판편향 검토가 함께 보고되는 경우가 많습니다.
주의할 점
메타분석의 신뢰도는 포함된 개별 연구들의 품질에 크게 좌우됩니다. 품질이 낮은 연구를 많이 포함하면 결론도 왜곡될 수 있어, 어떤 기준으로 연구를 골랐는지(선정 기준)를 함께 확인하는 것이 중요합니다.