다중 분석자 연구 (Many Analysts, One Dataset)
쉽게 풀면
똑같은 데이터와 똑같은 연구 질문을 여러 연구팀에 나눠 주고 각자 분석하게 하면, 결과가 얼마나 갈릴까요? 다중 분석자 연구는 바로 이 질문을 실험으로 확인하는 방식입니다. 실제로 수행된 사례들에서 팀마다 변수 선택과 모형이 달라 효과의 크기는 물론 방향까지 엇갈리는 경우가 보고되었습니다. 분석 과정 자체가 결과에 얼마나 영향을 주는지를 눈으로 보여 주는 설계입니다.
왜 중요한가
동일한 자료에서도 분석 선택에 따라 결론이 달라진다는 점을 실증하기 때문에, 분석 계획의 사전등록과 분석 코드 공개를 요구하는 강력한 근거가 됩니다. 재현성 논의에서 '데이터가 있어도 결론이 재현되지 않을 수 있다'는 층위를 드러내는 역할도 합니다. 최근에는 신경영상, 경제학, 생태학 등 여러 분야로 확산되었습니다.
논문에서는 이렇게 쓰입니다
분석자 간 결과의 편차를 수치로 제시하는 전형적 보고 방식입니다.
불확실성의 원천을 표본오차와 분석 선택으로 나누어 보는 해석입니다.
조금 더 깊게 보면
운영 절차는 대개 공통 자료와 질문을 배포하고, 각 팀이 분석 계획을 먼저 제출한 뒤 결과를 취합해 분포로 보고하는 방식입니다. 이렇게 얻은 결과의 폭은 한 연구팀이 여러 분석 경로를 스스로 탐색해 보는 다중우주 분석과 비슷한 정보를 주지만, 실제 서로 다른 전문가의 판단이 반영된다는 점에서 더 현실적인 변동을 보여 줍니다. 학술지에서는 참여 팀 전체를 공저자로 올리는 대규모 협업 형태로 출판되는 경우가 많습니다.
주의할 점
결과가 갈렸다고 해서 참여 팀 중 누군가가 부정한 분석을 했다는 뜻은 아니며, 정당한 방법론적 판단의 차이일 수 있습니다. 또 서로 다른 주장을 가진 연구자가 한 팀이 되는 적대적 협업과 달리, 여기서는 여러 팀이 독립적으로 분석한다는 점이 다릅니다.