깔때기 그림 (Funnel Plot)
쉽게 풀면
동전 던지기를 10번 한 그룹과 1000번 한 그룹을 비교하면, 10번 던진 그룹은 결과가 앞면 30%~70%까지 들쭉날쭉할 수 있지만 1000번 던진 그룹은 50% 근처로 훨씬 안정적입니다. 연구도 마찬가지로 표본크기가 작은 연구일수록 효과크기 추정치가 넓게 퍼지고, 표본크기가 큰 연구일수록 좁게 모입니다. 이걸 가로축은 효과크기, 세로축은 표본크기(또는 정밀도)로 그리면 이상적으로는 아래는 넓고 위는 좁은 "깔때기(또는 뒤집힌 삼각형)" 모양이 나와야 합니다. 만약 한쪽이 비어 있는 비대칭 모양이라면, 그쪽 방향의 결과를 내는 소규모 연구들이 출판되지 않았을 가능성, 즉 출판편향을 의심해볼 수 있습니다.
왜 중요한가
메타분석은 여러 개별 연구를 종합해 하나의 결론을 도출하는 만큼, 그 결론이 특정 방향의 연구만 선택적으로 반영한 결과가 아닌지 검증하는 절차가 필수적입니다. 깔때기 그림은 이런 출판편향과 소규모 연구 효과를 한눈에 점검할 수 있는 표준적인 진단 도구이기 때문에, 임상시험 통합분석부터 사회과학 메타분석에 이르기까지 폭넓은 분야의 체계적 문헌고찰 논문에서 관례적으로 제시됩니다. 학술지 심사자들도 메타분석 논문을 평가할 때 이 그림의 유무와 대칭성을 흔히 확인합니다.
논문에서는 이렇게 쓰입니다
이 문장은 메타분석 결과가 특정 방향으로 편향되지 않았음을 시각적 검토와 통계적 검정 두 방식으로 확인했다는 뜻입니다.
연구 편수가 충분하지 않으면 깔때기 모양이 제대로 형성되지 않아 비대칭 여부를 판단하기 어렵다는 점을 저자들이 스스로 밝혔다는 뜻입니다.
표본이 작은 교육 연구들이 유독 효과가 큰 쪽에 몰려 있어, 부정적이거나 미미한 결과를 낸 소규모 연구가 발표되지 않았을 가능성을 시사한다는 뜻입니다.
조금 더 깊게 보면
육안 판단의 주관성을 보완하기 위해 Egger의 회귀검정이나 Begg의 순위상관검정 같은 통계적 방법이 함께 쓰이며, 비대칭이 확인되면 결측된 것으로 추정되는 연구를 채워 넣어 효과크기를 재추정하는 트림-앤-필(trim-and-fill) 기법이 보조적으로 활용되기도 합니다. 다만 이질성이 큰 메타분석에서는 깔때기 그림의 비대칭이 출판편향이 아니라 연구 설계나 대상 집단의 차이에서 비롯될 수 있으므로, 해석 시 이질성 지표를 함께 고려하는 것이 일반적입니다.
주의할 점
깔때기 그림의 비대칭은 출판편향뿐 아니라 연구들 사이의 진짜 이질성 때문에도 나타날 수 있어, 비대칭이 보인다고 곧바로 출판편향이라 단정해서는 안 됩니다. 이질성 지수와 함께 살펴보는 것이 안전합니다.