출판편향 (Publication Bias)
쉽게 풀면
"새로운 치료법이 효과가 있었다"는 연구는 학술지에 실리기 쉽지만, "효과가 없었다"는 연구는 흥미롭지 않다는 이유로 서랍 속에 묻혀버리는 경우가 많습니다. 이렇게 되면 학술지에 출판된 논문들만 모아 봤을 때, 실제보다 그 치료법이 훨씬 더 효과적인 것처럼 보이는 착시가 생깁니다. 마치 시험에 합격한 사람들의 후기만 인터넷에 넘쳐나고 떨어진 사람들의 후기는 잘 보이지 않아서, 그 시험이 실제보다 쉬워 보이는 것과 비슷한 현상입니다.
왜 중요한가
출판편향은 개별 연구의 문제가 아니라 특정 분야 전체의 지식 축적을 왜곡할 수 있다는 점에서 중요하게 다뤄집니다. 의학, 심리학, 사회과학 등에서 메타분석이나 체계적 문헌고찰을 수행할 때, 출판된 연구만으로 결론을 내리면 실제 효과 크기가 과대평가될 위험이 있기 때문입니다. 이 때문에 임상시험 사전등록, 결과와 무관하게 출판을 약속하는 결과중립적 심사(registered report) 같은 제도 개선 논의와도 밀접하게 연결됩니다.
핵심 정리
- 출판편향은 연구 결과의 방향이나 유의성에 따라 출판 여부가 달라져서, 출판된 문헌이 전체 연구를 대표하지 못하게 되는 현상입니다.
- 비유의 결과가 서랍 속에 남는 서랍 문제(file drawer problem)가 대표적인 모습입니다. 저자가 투고하지 않는 경우와 학술지가 게재하지 않는 경우가 모두 원인이 됩니다.
- 메타분석은 출판된 연구를 모아 효과를 합치므로, 빠진 연구가 한쪽으로 치우쳐 있으면 합친 효과도 같은 쪽으로 치우칩니다.
- 탐지에는 깔때기 그림의 대칭성 확인과 Egger 검정 같은 회귀 기반 검정이 쓰입니다. 다만 비대칭이 곧 출판편향이라는 뜻은 아니며 다른 원인(연구 간 이질성, 소규모 연구 효과)도 비대칭을 만들 수 있습니다.
예시로 보기
가상의 예입니다. 어떤 치료의 효과를 본 소규모 연구 10건이 있고, 그중 효과가 뚜렷하게 나온 4건만 학술지에 실렸다고 해 봅시다. 문헌검색으로는 이 4건만 찾아지므로 메타분석은 “효과가 일관되게 있다”는 결론으로 기울어집니다. 서랍에 남은 6건을 합하면 평균 효과가 훨씬 작아질 수 있습니다.
이 때문에 체계적 문헌고찰에서는 회색문헌과 사전등록 자료를 함께 찾아 출판된 연구와 비교합니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 깔때기 그림이 비대칭이면 출판편향이 있다. | 비대칭의 원인은 여러 가지이므로 출판편향의 가능성을 시사할 뿐입니다. |
| 출판편향은 의학 분야만의 문제다. | 출판된 결과가 유의한 쪽으로 치우칠 수 있는 모든 분야(심리학, 교육학 등)의 메타분석에서 점검 대상입니다. |
| 한 번 검정해서 편향이 없다고 나오면 안전하다. | 검정에서 편향이 탐지되지 않았다는 것이 편향이 없다는 증명은 아닙니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“이 과정에서 통계적 추론절차, 연구관행 그리고 출판편향 등이 재현성 위기의 원인들로서 조명되었으며, 그에 따라 심리학의 재현성을 증진하기 위한 해결책들(신뢰구간, 효과 크기의 사용, 메타분석, 베이지안 통계, 연구 자료와 방법론의 투명성 증가)도 제안되고 있다.”
심리학 연구에서 재현성 위기의 현황과 원인 및 대안 모색에 대한 개관, 한국심리학회지:일반, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗
“출판편향 분석결과 Funnel plot과 Egger 검정에서 편향이 나타나지 않았다.”
청소년의 수학불안과 수학성취와의 관계에 대한 메타분석, 청소년문화포럼, 2025 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
메타분석에 포함된 연구들의 분포를 살펴본 결과, 유의하지 않은 결과를 낸 연구들이 상대적으로 적게 포함되었을 가능성이 있다는 뜻입니다.
의학 연구에서는 사전등록된 임상시험과 실제 출판된 논문을 대조하여 출판편향의 규모를 직접 추정하는 방법이 자주 사용됩니다.
심리학이나 사회과학 연구방법론 논문에서는 출판편향을 재현성 위기와 연결지어 학계 관행 개선의 필요성을 논의할 때 인용합니다.
조금 더 깊게 보면
출판편향을 탐지하는 대표적 방법으로는 개별 연구의 효과 크기와 표본 크기(또는 표준오차)를 산점도로 나타내는 깔때기 그림이 있으며, 편향이 없다면 대칭적인 깔때기 모양을 이루어야 하지만 비대칭이 관찰되면 편향 가능성을 의심합니다. 이 외에도 트림-필(trim-and-fill) 기법, 에거 검정(Egger's test) 등 비대칭 정도를 통계적으로 검증하는 방법이 함께 사용되며, 최근에는 사전등록 자료나 회색문헌까지 포함해 출판편향의 영향을 보정하려는 시도가 늘고 있습니다.
주의할 점
출판편향은 여러 연구를 종합하는 체계적 문헌고찰이나 메타분석의 신뢰도를 크게 해칠 수 있습니다. "출판된 논문만 봤을 때 효과가 있어 보인다"는 결론은 실제보다 부풀려져 있을 수 있으므로, 출판되지 않은 연구(회색문헌)까지 포함하려는 노력이 있는지 확인하는 것이 좋습니다.
헷갈리기 쉬운 용어
출판편향은 비슷해 보이는 편향·문제와 구분해서 씁니다.
| 용어 | 한 줄 설명 | 핵심 차이 |
|---|---|---|
| 출판편향 | 결과에 따라 출판 여부가 갈려 문헌이 치우치는 현상 | 문헌 수준(어떤 연구가 공개되는가) |
| p-해킹 | 유의한 p값이 나올 때까지 분석을 바꾸는 관행 | 개별 연구 안에서 일어나는 분석 선택 |
| 재현성 위기 | 발표된 결과가 반복 검증에서 재현되지 않는 문제 | 결과의 재현 실패. 출판편향은 그 원인 중 하나 |
참고 문헌
- Egger, M., Davey Smith, G., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ, 315(7109), 629–634.
- Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. JAMA, 263(10), 1385–1389.
- Song, F., Parekh, S., Hooper, L., Loke, Y. K., Ryder, J., Sutton, A. J., et al. (2010). Dissemination and publication of research findings: an updated review of related biases. Health Technology Assessment, 14(8).
- Rothstein, H. R., Sutton, A. J., & Borenstein, M. (Eds.). (2005). Publication bias in meta-analysis: prevention, assessment and adjustments. Wiley.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.