반복연구 (Replication Study)
쉽게 풀면
어떤 실험 결과가 우연이 아니라 진짜인지 확인하는 가장 확실한 방법은 같은 실험을 다시 해보는 것입니다. 반복연구는 원래 연구와 최대한 비슷한 절차로 다시 실험해서 같은 결과가 나오는지 보는 연구입니다. 완전히 똑같이 따라 하는 직접반복과, 다른 표본이나 상황에서 핵심 아이디어만 다시 검증하는 개념반복으로 나뉩니다. 여러 편의 반복연구에서 일관된 결과가 나올수록 그 발견은 더 신뢰할 수 있게 됩니다.
왜 중요한가
단일 연구의 결과는 표본 특성이나 우연한 통계적 변동에 영향을 받을 수 있기 때문에, 여러 독립 연구팀이 같은 결과를 반복적으로 확인해야 비로소 신뢰할 수 있는 지식으로 자리잡습니다. 심리학과 생의학 등 여러 분야에서 발생한 재현성 위기 이후, 반복연구는 개별 발견의 견고성을 검증하는 핵심 절차로 강조되고 있습니다. 학술지와 연구비 지원기관도 반복연구 수행과 사전등록을 점점 더 중요하게 다루는 추세입니다.
어떤 절차인가
- 원 연구를 정합니다: 다시 검증할 연구와 핵심 주장(효과의 방향·크기)을 정합니다.
- 방법을 가능한 한 그대로 따릅니다: 원 연구의 표본 특성, 절차, 측정, 분석 방법을 확인합니다. 원 저자에게 자료·절차를 요청하는 것이 좋습니다.
- 사전 등록과 검정력 계산: 원 효과를 놓치지 않도록 표본 크기를 정하고, 분석 계획을 사전에 공개합니다. 원 연구의 효과크기는 과대 추정되었을 수 있어 보수적으로 잡습니다.
- 새 자료로 수행합니다.
- 원 결과와 비교합니다: 유의 여부만 보지 않고 효과크기와 신뢰구간이 원 결과와 얼마나 겹치는지 봅니다.
유형: 직접(엄밀) 반복은 가능한 한 같은 방법으로, 개념적 반복은 같은 주장을 다른 방법·대상·측정으로 검증합니다(Schmidt, 2009). 두 가지는 답하는 질문이 다릅니다. 직접 반복은 “결과가 믿을 만한가”, 개념적 반복은 “주장이 다른 조건에서도 성립하는가”입니다.
언제 쓰고 무엇을 얻나
- 얻는 것: 한 번의 연구에서 나온 결과가 우연이나 방법 특성이 아님을 확인합니다. 효과의 크기를 더 정확히 추정하고, 어떤 조건에서 성립하는지 알려 줍니다.
- 재현성 위기: Open Science Collaboration(2015)은 심리학 연구 100건을 다시 수행했습니다. 원 연구의 97%가 유의했지만 반복 연구에서는 36%만 유의했고, 평균 효과크기(상관계수 r)는 원 연구 약 .40에서 반복 연구 약 .20으로 절반 정도로 줄었습니다. 같은 문제는 다른 분야에서도 논의됩니다.
- 재현 성공의 기준: 정해진 단일 기준은 없습니다. 반복 결과가 원 연구와 같은 방향으로 유의한지, 원 연구의 신뢰구간 안에 반복 연구의 추정치가 있는지, 두 결과를 합친 메타분석에서도 효과가 유지되는지 등을 사전에 정해 쓰고, 효과크기를 함께 비교합니다.
- 한계: 반복에 실패했다고 원 연구가 틀렸다고 단정할 수 없습니다. 표본과 맥락의 차이, 검정력 부족, 수행 상의 차이일 수 있습니다.
논문에는 이렇게 적는다
- 원 연구를 명시하고, 무엇을 같게 하고 무엇을 다르게 했는지(표본, 절차, 도구, 분석)를 대비해 적습니다.
- 사전 등록 여부와 표본 크기의 근거를 밝힙니다.
- 원 연구와의 비교(효과크기와 신뢰구간)를 그림이나 표로 보입니다.
- 실패한 반복도 결과를 그대로 보고하고, 가능한 설명(검정력, 맥락, 방법 차이)을 논의합니다.
문장의 예(가상): “Kim(2018)의 실험 1을 동일한 절차로 반복하였다. 사전 등록한 분석에서 효과는 원 연구와 같은 방향이었으나 크기는 절반 수준이었다(d = 0.21, 95% CI [0.03, 0.39], 원 연구 d = 0.45).”
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“향후 간호대학생의 진로준비행동을 통합적으로 이해하기 위해서는 기존에 다루어진 요인들에 대한 반복연구와 인과적 관계 규명이 필요할 것이다.”
간호학과 학생의 진로준비행동 영향요인: 체계적 문헌고찰 및 메타분석, 한국간호교육학회지, 2020 · KCI 한국학술지인용색인 · 원문 보기 ↗
“본 연구는 일개 대학 간호대학생에게 적용된 연구로 이를 일반화하는데 한계가 있으므로 본 연구 결과를 바탕으로 향후 다양한 교과목에 적용하여 학습효과를 검증하는 반복연구가 필요하다.”
프로젝트 기반학습을 활용한 간호학개론 수업이 문제해결능력, 비판적 사고성향에 미치는 효과, 안전문화연구, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
“후속연구로 다양한 학년과 다양한 간호학 전공교과목에서 하브루타 학습법을 적용하고 그 효과를 검정하는 반복연구를 제언한다.”
하브루타 학습법을 적용한 기본간호학실습이 간호대학생의 핵심간호술기 수행자신감, 의사소통능력, 학업적 자기효능감에 미치는 효과, 한국산학기술학회논문지, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이전 연구와 같은 방법을 더 많은 참가자에게 적용해서 같은 결과가 다시 나오는지 검증했다는 뜻입니다.
같은 방법을 그대로 쓰기보다, 다른 문화권 표본이라는 새로운 맥락에서 핵심 아이디어가 여전히 성립하는지 검증했다는 뜻입니다.
여러 반복연구 결과를 하나로 모아 통계적으로 종합했을 때 원래 효과가 다소 작아졌지만 완전히 사라지지는 않았다는 뜻입니다.
조금 더 깊게 보면
반복연구를 평가할 때는 단순히 통계적으로 유의했는지뿐 아니라 효과크기가 원 연구와 얼마나 비슷한지도 함께 봅니다. 재현 성공 여부를 판단하는 기준으로는 원 연구의 신뢰구간 안에 반복연구의 추정치가 들어오는지, 두 결과를 통합했을 때 여전히 유의한지 등 여러 방식이 쓰입니다. 표본크기가 충분하지 않으면 원 효과가 실재하더라도 반복연구에서 유의한 결과를 얻지 못할 수 있어, 사전에 검정력 분석을 통해 필요한 표본크기를 계산하는 것이 권장됩니다.
주의할 점
반복연구에서 원래 결과가 재현되지 않았다고 해서 원 연구가 틀렸다고 단정하기보다는, 표본이나 맥락의 차이 등 여러 가능성을 함께 검토해야 합니다.
헷갈리기 쉬운 용어
재현과 반복을 가리키는 말이 섞이기 쉽습니다.
| 용어 | 무엇을 하나 | 자료 |
|---|---|---|
| 직접(엄밀) 반복연구 | 같은 방법으로 새 자료를 모아 검증 | 새로 수집 |
| 개념적 반복연구 | 같은 주장을 다른 방법·대상으로 검증 | 새로 수집 |
| 재현(reproducibility) | 같은 자료와 분석 코드로 같은 결과가 나오는지 확인 | 원 자료 |
| 메타분석 | 여러 연구의 결과를 통합 | 기존 연구 결과 |
참고 문헌
- Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
- Schmidt, S. (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. Review of General Psychology, 13(2), 90–100.
- Camerer, C. F., Dreber, A., Holzmeister, F., et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644.
- Shrout, P. E., & Rodgers, J. L. (2018). Psychology, science, and knowledge construction: Broadening perspectives from the replication crisis. Annual Review of Psychology, 69, 487–510.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.