연구자 자유도 (Researcher Degrees of Freedom)

한 줄 정의: 데이터를 어떻게 수집·분석·보고할지 연구자가 내리는 수많은 크고 작은 선택들이, 의도치 않게 원하는 결과가 나올 확률을 높이는 현상을 가리키는 개념입니다.

쉽게 풀면

같은 재료로 요리를 해도 요리사마다 양념의 양, 조리 순서, 불 조절을 다르게 선택하면 완성된 요리의 맛이 크게 달라집니다. 여러 요리사가 각자 자유롭게 레시피를 바꿔볼 수 있다면, 그중 누군가는 우연히 아주 맛있는 요리를 만들어낼 가능성이 높아지겠지요. 연구도 마찬가지입니다. 이상치를 제거할지 말지, 변수를 어떻게 묶을지, 표본을 언제까지 모을지, 어떤 통계 기법을 쓸지 등 데이터를 다루는 과정에는 수많은 선택지가 있습니다. 이 선택지들을 결과를 봐가며 유연하게 바꾸다 보면, 실제로는 우연히 나온 결과인데도 마치 의미 있는 발견처럼 보이게 만들 수 있습니다. 연구자 자유도는 바로 이런 "선택의 유연함" 자체가 거짓양성 결과를 만들어낼 수 있다는 점을 지적하는 개념입니다.

왜 중요한가

연구자 자유도는 심리학, 신경과학, 생의학처럼 표본이 작고 분석 방법이 다양한 분야에서 재현성 위기의 핵심 원인 중 하나로 지목되어 왔습니다. 고의적인 조작 없이도 통계적으로 유의한 결과가 우연히 만들어질 수 있다는 점을 보여주었기 때문에, 사전등록·개방 데이터·다중분석(multiverse analysis) 같은 방법론적 개혁 논의와 밀접하게 연결됩니다.

논문에서는 이렇게 쓰입니다

"본 연구는 사전에 확정된 분석 계획을 준수함으로써 연구자 자유도(researcher degrees of freedom)로 인한 거짓양성 결과의 가능성을 최소화하고자 하였다."

이 문장은 데이터를 보기 전에 분석 방법을 미리 정해둠으로써, 결과를 보면서 유리한 방향으로 선택을 바꾸는 여지를 차단했다는 뜻입니다.

"뇌영상 분석에서 관심 영역(ROI) 설정, 통계적 임계값, 다중비교 보정 방법의 선택에 따라 결과가 크게 달라질 수 있음을 인지하여, 본 연구는 이러한 분석적 유연성이 결과에 미치는 영향을 다변량 분석(multiverse analysis)을 통해 함께 보고하였다."

신경영상 연구처럼 분석 파이프라인 자체가 매우 복잡한 분야에서, 여러 개의 그럴듯한 분석 경로를 한 번에 검토함으로써 연구자 자유도의 영향을 투명하게 드러내려는 시도를 보여줍니다.

"설문 문항의 역코딩 여부, 결측치 처리 방식, 척도 합산 방법에 따라 상관계수가 달라질 수 있어, 본 연구는 가능한 분석 조합 전체에 대한 결과를 부록에 함께 제시하였다."

사회과학 설문 연구에서 흔히 발생하는 데이터 전처리 단계의 자유도를 명시적으로 다룬 예시입니다.

조금 더 깊게 보면

연구자 자유도를 다루는 대표적인 방법론적 도구로 다중분석(multiverse analysis)과 명세곡선분석(specification curve analysis)이 있는데, 이는 하나의 분석 결과만 보고하는 대신 합리적으로 가능한 여러 분석 경로의 결과를 한꺼번에 보여줌으로써 특정 선택이 결론을 얼마나 좌우하는지를 드러내는 방식입니다. 또한 이 개념은 사후에 가설을 데이터에 맞춰 재구성하는 사후가설수립이나 유의한 결과가 나올 때까지 분석을 반복하는 피해킹과 흔히 함께 논의되지만, 후자들이 의도적 행위에 가깝다면 연구자 자유도는 의도와 무관하게 존재하는 구조적 여지라는 점에서 구분됩니다.

주의할 점

연구자 자유도는 그 자체로 피해킹과 같은 고의적 부정행위는 아닙니다. 연구자가 악의 없이 여러 합리적인 선택지 중 하나를 고르는 과정에서도 자연스럽게 발생할 수 있는 구조적 문제라는 점이 핵심이며, 그래서 사전등록 같은 절차적 장치가 대안으로 제시됩니다.