직접반복과 개념반복 (Direct & Conceptual Replication)
쉽게 풀면
친구가 알려준 레시피로 요리를 해보는 상황을 생각해봅시다. 레시피에 적힌 재료와 순서를 토씨 하나 안 틀리고 그대로 따라 해서 같은 맛이 나오는지 보는 것이 "직접반복"입니다. 반면 재료를 조금 다르게 구해서(다른 브랜드 소금, 다른 산지의 채소) 만들어도 "역시 짭짤하고 맛있는 국물 요리가 된다"는 더 큰 원리가 통하는지 확인하는 것이 "개념반복"입니다. 논문에서도 마찬가지로, 같은 실험 도구·같은 문항·같은 모집단으로 다시 해보면 직접반복이고, 다른 측정 도구나 다른 나라의 표본으로 "같은 심리적 효과가 나타나는가"를 보면 개념반복입니다. 직접반복은 원래 결과가 우연이 아니었는지 확인하는 데 강하고, 개념반복은 그 효과가 특정 조건에만 국한되지 않고 폭넓게 일반화되는지를 확인하는 데 강합니다.
왜 중요한가
직접반복과 개념반복의 구분은 어떤 연구 결과를 얼마나 신뢰할 수 있는지, 그리고 그 결과가 얼마나 폭넓은 상황에 일반화될 수 있는지를 판단하는 데 핵심적인 기준이 되기 때문에 심리학, 사회과학을 넘어 재현성 위기가 논의되는 거의 모든 실증 연구 분야에서 중요하게 다뤄집니다. 특정 발견이 우연이 아니라 견고한 현상인지, 그리고 특정 표본이나 방법에만 국한된 것은 아닌지를 검증하는 절차이기 때문에, 메타분석이나 대규모 재현성 프로젝트를 설계할 때도 이 두 개념의 구분이 기본 틀로 사용됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 원래 실험을 그대로 재현하는 것과 다른 조건에서 같은 개념이 유지되는지 확인하는 것, 두 가지 검증을 함께 수행했다는 뜻입니다.
대규모 협업 재현성 연구에서는 여러 실험실이 동일한 프로토콜을 공유하여 직접반복을 수행함으로써, 원래 발견이 특정 실험실이나 문화권에 국한된 우연한 결과가 아닌지를 검증합니다.
측정 방법론 연구에서는 서로 다른 측정 도구(자기보고식 대 행동 관찰 등)를 사용해도 이론이 예측하는 현상이 동일하게 나타나는지를 확인하는 개념반복 설계가 자주 사용됩니다.
조금 더 깊게 보면
직접반복도 세부적으로는 원 연구자의 실험 자료와 코드를 그대로 사용해 절차상의 오류만 재현하는 좁은 의미의 반복과, 같은 절차를 새로운 표본에서 독립적으로 다시 수행하는 넓은 의미의 반복으로 나뉠 수 있습니다. 개념반복은 어디까지를 "같은 개념"으로 볼 것인지에 대한 판단이 연구자마다 달라질 수 있어, 실패한 개념반복을 두고 원 결과의 반박으로 볼지 개념 정의의 차이로 볼지에 대한 해석 논쟁이 자주 발생합니다. 최근에는 이런 해석의 모호함을 줄이기 위해 사전에 반복 설계와 성공·실패 판정 기준을 공개적으로 등록하는 사전등록 절차와 결합해 반복 연구를 수행하는 경우가 늘고 있습니다.
주의할 점
개념반복에서 결과가 다르게 나왔다고 해서 원래 연구가 반드시 틀렸다고 단정할 수는 없습니다. 방법이 달라졌으니 다른 요인이 개입했을 수 있기 때문입니다. 그래서 재현성 위기 논의에서는 원 결과의 신뢰도를 판단할 때 개념반복보다 직접반복 결과를 더 직접적인 증거로 취급하는 경우가 많습니다.