재현성 (Reproducibility)
쉽게 풀면
요리 레시피를 그대로 따라 했는데 매번 맛이 완전히 다르게 나온다면 그 레시피를 신뢰하기 어려울 것입니다. 연구도 마찬가지입니다. 어떤 연구자가 발표한 실험을 다른 사람이 똑같은 데이터와 방법(코드)으로 다시 수행했을 때 비슷한 결과가 나와야, 그 연구 결과를 믿고 다음 연구의 토대로 삼을 수 있습니다. 이렇게 같은 조건에서 결과를 다시 얻어낼 수 있는 정도를 재현성이라고 하며, 최근에는 많은 학문 분야에서 발표된 연구 결과가 재현되지 않는 "재현성 위기"가 문제로 지적되고 있습니다.
왜 중요한가
재현성은 과학적 지식이 개인의 주장이 아니라 누구나 검증할 수 있는 공적 자산으로 축적되기 위한 최소 조건입니다. 심리학, 생의학, 기계학습 등에서 발생한 재현성 위기 이후, 학술지와 학회는 데이터·코드 공개와 사전등록을 요구하는 방향으로 심사 기준을 강화하고 있습니다. 재현성이 확보된 연구는 후속 연구자들이 안심하고 그 결과를 토대로 새로운 가설을 세울 수 있게 해준다는 점에서 학문 발전의 기반이 됩니다.
논문에서는 이렇게 쓰입니다
다른 연구자가 같은 조건에서 결과를 그대로 다시 재현해 볼 수 있도록 관련 자료를 모두 공개했다는 뜻입니다.
생의학 분야 논문에서, 원래 분석팀과 무관한 별도의 팀이 같은 원자료로 핵심 통계 분석을 다시 실행해 결과가 일치하는지 확인했다는 뜻입니다.
기계학습 분야 논문에서, 실행할 때마다 결과가 달라지지 않도록 난수 생성 조건을 고정하고 동일한 실행 환경을 그대로 공유했다는 뜻입니다.
조금 더 깊게 보면
재현성은 흔히 몇 단계로 나누어 논의됩니다. 같은 데이터와 코드로 같은 결과를 얻는 "계산 재현성", 같은 방법을 새로운 데이터에 적용했을 때도 같은 결론에 도달하는 "반복 가능성", 그리고 다른 방법으로도 같은 현상이 확인되는 "일반화 가능성"은 서로 다른 수준의 검증입니다. 논문을 읽을 때는 저자가 어떤 수준의 재현성을 주장하고 있는지 구분해서 볼 필요가 있으며, 코드가 공개되어 있다고 해서 곧바로 그 연구의 발견 자체가 반복 가능하다는 뜻은 아니라는 점에 유의해야 합니다.
주의할 점
논문에서 놀라운 결과를 발표했더라도 코드와 데이터가 공개되지 않아 재현이 불가능하다면 그 신뢰도는 낮게 평가해야 합니다. 재현성이 낮은 데는 우연한 결과를 마치 유의미한 발견처럼 보고하는 출판편향 같은 구조적 문제도 영향을 미칩니다.