반복연구 (Replication Study)
쉽게 풀면
어떤 실험 결과가 우연이 아니라 진짜인지 확인하는 가장 확실한 방법은 같은 실험을 다시 해보는 것입니다. 반복연구는 원래 연구와 최대한 비슷한 절차로 다시 실험해서 같은 결과가 나오는지 보는 연구입니다. 완전히 똑같이 따라 하는 직접반복과, 다른 표본이나 상황에서 핵심 아이디어만 다시 검증하는 개념반복으로 나뉩니다. 여러 편의 반복연구에서 일관된 결과가 나올수록 그 발견은 더 신뢰할 수 있게 됩니다.
왜 중요한가
단일 연구의 결과는 표본 특성이나 우연한 통계적 변동에 영향을 받을 수 있기 때문에, 여러 독립 연구팀이 같은 결과를 반복적으로 확인해야 비로소 신뢰할 수 있는 지식으로 자리잡습니다. 심리학과 생의학 등 여러 분야에서 발생한 재현성 위기 이후, 반복연구는 개별 발견의 견고성을 검증하는 핵심 절차로 강조되고 있습니다. 학술지와 연구비 지원기관도 반복연구 수행과 사전등록을 점점 더 중요하게 다루는 추세입니다.
논문에서는 이렇게 쓰입니다
이전 연구와 같은 방법을 더 많은 참가자에게 적용해서 같은 결과가 다시 나오는지 검증했다는 뜻입니다.
같은 방법을 그대로 쓰기보다, 다른 문화권 표본이라는 새로운 맥락에서 핵심 아이디어가 여전히 성립하는지 검증했다는 뜻입니다.
여러 반복연구 결과를 하나로 모아 통계적으로 종합했을 때 원래 효과가 다소 작아졌지만 완전히 사라지지는 않았다는 뜻입니다.
조금 더 깊게 보면
반복연구를 평가할 때는 단순히 통계적으로 유의했는지뿐 아니라 효과크기가 원 연구와 얼마나 비슷한지도 함께 봅니다. 재현 성공 여부를 판단하는 기준으로는 원 연구의 신뢰구간 안에 반복연구의 추정치가 들어오는지, 두 결과를 통합했을 때 여전히 유의한지 등 여러 방식이 쓰입니다. 표본크기가 충분하지 않으면 원 효과가 실재하더라도 반복연구에서 유의한 결과를 얻지 못할 수 있어, 사전에 검정력 분석을 통해 필요한 표본크기를 계산하는 것이 권장됩니다.
주의할 점
반복연구에서 원래 결과가 재현되지 않았다고 해서 원 연구가 틀렸다고 단정하기보다는, 표본이나 맥락의 차이 등 여러 가능성을 함께 검토해야 합니다.