재현성 프로젝트: 심리학 (Reproducibility Project: Psychology)

윤리·출판

한 줄 정의: 2015년 오픈사이언스 콜라보레이션이 100편의 심리학 논문을 원래 절차 그대로 재현 실험한 결과, 처음 논문에서 유의했던 결과 중 약 36%만 재현에 성공했다고 밝힌 대규모 실증 프로젝트입니다.

쉽게 풀면

어떤 논문이 발표되었다고 해서 그 결과가 항상 다시 확인된다는 보장은 없습니다. 이 프로젝트는 그 의문을 직접 검증해보자는 취지로, 270여 명의 연구자가 팀을 이뤄 유명 심리학 저널 3곳에 실린 논문 100편을 골라 원 저자의 실험 절차를 최대한 그대로 따라 다시 실험했습니다. 그 결과 원래 논문에서는 97%가 통계적으로 유의한 결과를 보였지만, 재현 실험에서는 36%만 같은 방향의 유의한 결과가 나왔습니다. 이 수치는 학계에 큰 충격을 주었고, 심리학뿐 아니라 여러 학문 분야가 자신의 재현성을 점검하게 만든 계기가 되었습니다.

왜 중요한가

이 프로젝트는 특정 연구자나 논문을 비판하기 위한 것이 아니라, 심리학이라는 학문 분야 전체의 재현성 수준을 처음으로 체계적이고 대규모로 측정한 시도였다는 점에서 의미가 큽니다. 그 결과는 이후 여러 학문 분야가 비슷한 방식의 대규모 협업 재현 프로젝트를 기획하는 모델이 되었고, 사전등록과 오픈사이언스 실천을 학계 표준으로 끌어올리는 데 결정적인 역할을 했습니다. 방법론 논문뿐 아니라 심리학의 개별 하위 분야 연구들도 이 프로젝트의 결과를 재현성 논의의 출발점으로 인용합니다.

논문에서는 이렇게 쓰입니다

"Open Science Collaboration(2015)의 재현성 프로젝트 결과가 보여주듯, 통계적으로 유의한 최초 결과라도 독립적인 재현 실험에서는 절반 이상이 재현되지 않을 수 있다."

이 문장은 "논문 한 편에 실린 결과만으로 어떤 현상이 확실하다고 단정하기보다, 다른 연구팀이 독립적으로 재현했는지를 함께 확인해야 한다"는 뜻입니다.

"본 연구의 결과는 재현성 프로젝트에서 상대적으로 재현률이 높았던 인지심리학 영역의 패러다임을 사용하였다는 점에서 결과의 안정성을 뒷받침한다."

재현성 프로젝트가 하위분야별로 재현 성공률에 차이가 있었다는 사실을 근거로, 자신이 사용한 패러다임이 상대적으로 신뢰할 만하다는 점을 강조하는 서술입니다.

"사회심리학 영역에서 관찰된 낮은 재현률은 효과크기가 상대적으로 작고 맥락 의존적인 현상을 다루는 경향과 관련이 있을 수 있다."

사회심리학이라는 하위분야가 다른 영역보다 재현률이 낮게 나온 이유를 효과크기와 맥락 의존성이라는 특성으로 설명하는 문장입니다.

조금 더 깊게 보면

이 프로젝트에서는 재현 성공 여부를 판단할 때 단순히 통계적 유의성 재현 여부뿐 아니라, 원 연구와 재현 연구의 효과크기를 나란히 비교하는 방식도 함께 사용했습니다. 실제로 재현된 연구들의 평균 효과크기는 원 연구보다 대체로 작게 나타나는 경향이 있었는데, 이는 출판 편향으로 인해 원 논문에 실린 효과크기가 다소 과장되어 있을 가능성을 시사합니다. 이 프로젝트는 이후 심리학 외 여러 분야에서 진행된 유사한 대규모 협업 재현 프로젝트들의 설계와 분석 방식에 참고 모델이 되었습니다.

주의할 점

재현에 실패했다고 해서 원래 연구가 곧바로 부정행위나 거짓이라는 뜻은 아닙니다. 표본 차이, 맥락 차이, 애초에 통계적 검정력이 부족했던 점 등 다양한 이유로 재현되지 않을 수 있습니다. 이 프로젝트는 개별 논문을 단죄하기보다, 학계 전반이 겪고 있는 재현성 위기를 수치로 드러낸 사례로 이해하는 것이 정확합니다.