출판편향 (Publication Bias)
쉽게 풀면
"새로운 치료법이 효과가 있었다"는 연구는 학술지에 실리기 쉽지만, "효과가 없었다"는 연구는 흥미롭지 않다는 이유로 서랍 속에 묻혀버리는 경우가 많습니다. 이렇게 되면 학술지에 출판된 논문들만 모아 봤을 때, 실제보다 그 치료법이 훨씬 더 효과적인 것처럼 보이는 착시가 생깁니다. 마치 시험에 합격한 사람들의 후기만 인터넷에 넘쳐나고 떨어진 사람들의 후기는 잘 보이지 않아서, 그 시험이 실제보다 쉬워 보이는 것과 비슷한 현상입니다.
왜 중요한가
출판편향은 개별 연구의 문제가 아니라 특정 분야 전체의 지식 축적을 왜곡할 수 있다는 점에서 중요하게 다뤄집니다. 의학, 심리학, 사회과학 등에서 메타분석이나 체계적 문헌고찰을 수행할 때, 출판된 연구만으로 결론을 내리면 실제 효과 크기가 과대평가될 위험이 있기 때문입니다. 이 때문에 임상시험 사전등록, 결과와 무관하게 출판을 약속하는 결과중립적 심사(registered report) 같은 제도 개선 논의와도 밀접하게 연결됩니다.
논문에서는 이렇게 쓰입니다
메타분석에 포함된 연구들의 분포를 살펴본 결과, 유의하지 않은 결과를 낸 연구들이 상대적으로 적게 포함되었을 가능성이 있다는 뜻입니다.
의학 연구에서는 사전등록된 임상시험과 실제 출판된 논문을 대조하여 출판편향의 규모를 직접 추정하는 방법이 자주 사용됩니다.
심리학이나 사회과학 연구방법론 논문에서는 출판편향을 재현성 위기와 연결지어 학계 관행 개선의 필요성을 논의할 때 인용합니다.
조금 더 깊게 보면
출판편향을 탐지하는 대표적 방법으로는 개별 연구의 효과 크기와 표본 크기(또는 표준오차)를 산점도로 나타내는 깔때기 그림이 있으며, 편향이 없다면 대칭적인 깔때기 모양을 이루어야 하지만 비대칭이 관찰되면 편향 가능성을 의심합니다. 이 외에도 트림-필(trim-and-fill) 기법, 에거 검정(Egger's test) 등 비대칭 정도를 통계적으로 검증하는 방법이 함께 사용되며, 최근에는 사전등록 자료나 회색문헌까지 포함해 출판편향의 영향을 보정하려는 시도가 늘고 있습니다.
주의할 점
출판편향은 여러 연구를 종합하는 체계적 문헌고찰이나 메타분석의 신뢰도를 크게 해칠 수 있습니다. "출판된 논문만 봤을 때 효과가 있어 보인다"는 결론은 실제보다 부풀려져 있을 수 있으므로, 출판되지 않은 연구(회색문헌)까지 포함하려는 노력이 있는지 확인하는 것이 좋습니다.