파일서랍 문제 (file drawer problem)

한 줄 정의: 통계적으로 유의하지 않은 결과를 얻은 연구들이 아예 투고되거나 발표되지 않고 연구자의 서랍 속에 묻혀버리는 현상으로, 출판편향의 원인이 되는 현상을 가리킨다.

쉽게 풀면

연구자들은 유의한 결과가 나오지 않으면 아예 논문으로 작성하거나 투고하지 않는 경우가 많습니다. 이런 미발표 연구들이 마치 서랍 속에 넣어둔 채 세상에 나오지 못하는 모습을 빗대어 파일서랍 문제라고 부릅니다. 이 문제는 출판된 문헌만 놓고 보면 실제보다 효과가 있다는 결과가 훨씬 많아 보이게 만드는, 출판편향의 근본적인 원인 중 하나입니다.

왜 중요한가

파일서랍 문제는 메타분석과 체계적 문헌고찰의 신뢰도를 근본적으로 흔드는 이슈이기 때문에 연구방법론 논문에서 자주 다뤄집니다. 출판된 문헌만으로 효과 크기를 추정하면 실제보다 효과가 과장될 위험이 있고, 이는 재현성 위기 논의와도 직결됩니다. 그래서 심리학, 의학, 사회과학 등 메타분석이 흔히 쓰이는 분야에서는 파일서랍 문제를 얼마나 잘 점검했는지가 연구의 질을 평가하는 기준 중 하나로 여겨집니다.

논문에서는 이렇게 쓰입니다

"파일서랍 문제로 인해 실제 존재할 것으로 추정되는 미발표 유의하지 않은 연구의 수를 실패안전수(fail-safe N)로 추정하였다."

미발표 연구의 존재 가능성을 통계적으로 추정한 절차를 설명하는 문장이다.

"본 메타분석은 깔때기 도표(funnel plot)의 비대칭성을 확인하여 파일서랍 문제로 인한 출판편향 가능성을 점검하였다."

의학 분야 메타분석에서는 효과크기와 표본크기의 관계를 시각적으로 살펴 미발표 연구의 존재 가능성을 가늠하는 방식이 흔히 사용됩니다.

"교육 개입 프로그램에 대한 선행연구를 검토한 결과, 유의한 효과를 보고한 연구가 과대표집되어 있을 가능성, 즉 파일서랍 문제가 우려되었다."

교육학에서도 개입 효과를 종합할 때 유의하지 않은 결과를 보고한 연구가 누락되었을 가능성을 함께 논의하는 경우가 많습니다.

조금 더 깊게 보면

파일서랍 문제를 점검하는 대표적인 방법으로는 효과크기와 표본크기의 관계를 그래프로 나타내는 깔때기 도표, 그 비대칭성을 통계적으로 검정하는 방법, 그리고 결과를 뒤집는 데 필요한 미발표 연구 수를 추정하는 실패안전수 등이 있습니다. 다만 이런 방법들은 출판편향의 존재 여부를 간접적으로 추정하는 도구일 뿐이므로, 최근에는 연구 시작 전에 가설과 분석 계획을 등록해 두는 사전등록 제도나 결과와 무관하게 심사하는 방식이 문제 자체를 예방하는 대안으로 함께 논의됩니다.

주의할 점

최근에는 사전등록 학술지나 결과에 무관한 게재 심사 제도가 파일서랍 문제를 완화하는 대안으로 제시되고 있다.