재현성 위기 (Replication Crisis)

윤리·출판
한 줄 정의: 유명한 논문의 실험을 똑같이 다시 해봤더니 원래와 같은 결과가 나오지 않는 사례가 여러 학문 분야에서 대규모로 드러난 사건을 말합니다.

쉽게 풀면

2010년대 초, 심리학자들이 이미 발표된 유명한 실험 수백 건을 그대로 재현해봤습니다. 그런데 원래 논문과 같은 결과가 나온 비율이 절반에도 못 미쳤습니다. 마치 유명 요리사의 레시피를 그대로 따라 했는데 사진 속 요리와 전혀 다른 맛이 나오는 일이 대량으로 발견된 것과 같습니다. 이 사건은 심리학을 넘어 의학, 경제학, 암생물학 등 여러 분야로 번지면서 "우리가 지금까지 사실이라고 믿어온 연구 결과들이 정말 믿을 만한가?"라는 학계 전체의 반성으로 이어졌고, 이를 '재현성 위기'라고 부릅니다. 개별 연구의 재현 가능 여부를 뜻하는 일반적인 재현성 개념과 달리, 이 용어는 특정 시기에 여러 분야에서 동시다발적으로 드러난 신뢰 위기라는 역사적 사건을 가리킵니다.

왜 중요한가

재현성 위기는 학계가 연구 방법과 출판 관행 전반을 재점검하게 만든 계기였기 때문에, 심리학과 의학뿐 아니라 사회과학·생명과학 전반의 연구설계와 심사 기준에 실질적인 변화를 가져왔습니다. 사전등록, 오픈사이언스, 대규모 협업 재현연구 같은 움직임이 이 사건을 계기로 확산되었고, 저널의 심사 기준과 연구비 지원 기관의 요구사항에도 반영되었습니다. 그래서 최근 논문들은 방법론의 신뢰성을 강조하기 위해 재현성 위기와 그 이후의 개선책을 배경으로 자주 언급합니다.

논문에서는 이렇게 쓰입니다

"본 연구는 재현성 위기 이후 강화된 기준에 따라 사전등록된 가설과 표본크기 산정 근거를 방법론 절에 명시하였다."

이 문장은 재현성 위기를 계기로 학계가 도입한 개선책들(사전등록, 큰 표본, 투명한 방법 공개 등)을 연구자가 실제로 따르고 있음을 보여주려는 목적입니다. 최근 논문에서는 이렇게 재현성 위기를 언급하며 자신의 연구가 그 반성을 반영했다는 점을 강조하는 경우가 늘고 있습니다.

"암생물학 분야의 대규모 재현연구 프로젝트에서 원 논문의 핵심 결과 중 절반에 못 미치는 비율만 재현에 성공하여, 재현성 위기가 생물의학 연구로도 확장되었음을 보여주었다."

재현성 위기가 심리학에 국한되지 않고 암생물학, 약리학 같은 생명과학 분야에서도 유사하게 확인되었다는 점을 설명할 때 이러한 문장이 쓰입니다.

"경제학 실증 연구의 재현 가능성을 검토한 결과, 상당수 논문에서 코드와 데이터 공개가 미흡하여 결과를 독립적으로 검증하기 어려운 것으로 나타났다."

경제학과 같은 사회과학에서는 데이터·코드 공개 부족 자체가 재현성 위기의 한 축으로 지적된다는 것을 보여줍니다.

조금 더 깊게 보면

재현성 위기 이후 학계는 재현(replication)과 재연(reproducibility)을 구분해서 논의하는 경향이 강해졌는데, 전자는 새로운 데이터를 수집해 같은 결과가 다시 나오는지를, 후자는 원 데이터와 코드로 동일한 분석 결과를 다시 얻을 수 있는지를 가리킵니다. 이 사건을 계기로 가설과 분석 계획을 데이터 수집 전에 공개하는 사전등록, 출판 여부와 무관하게 연구 결과를 공개하도록 하는 결과사전등록보고(registered report) 같은 제도가 여러 저널에서 도입되었습니다. 또한 개별 연구의 통계적 검정력을 높이기 위한 표본크기 산정과, 여러 실험실이 협력해 같은 연구를 동시에 반복하는 다기관 협업 재현연구도 재현성 위기 이후 확산된 대응 방식으로 꼽힙니다.

주의할 점

재현성 위기는 "그 논문들이 전부 조작되었다"는 뜻이 아닙니다. 대부분은 고의적인 연구부정행위가 아니라, 표본크기가 너무 작거나 피해킹처럼 관행적으로 용인되던 분석 방식이 결과를 우연히 부풀린 경우가 많습니다. 즉 개별 연구자의 부정보다는 학계 전체의 관행과 유인 구조 문제로 이해하는 것이 정확합니다.

관련 용어