다중우주분석 (multiverse analysis)
쉽게 풀면
하나의 분석 결과만 보여주는 대신, "만약 이상치를 다르게 처리했다면", "만약 다른 통제변수를 썼다면"과 같은 모든 그럴듯한 분석 경우의 수를 다 실행해서 그 결과들을 한꺼번에 늘어놓는 것이 다중우주분석입니다. 이렇게 하면 하나의 결론이 특정한 임의적 선택 때문에 나온 것인지, 아니면 여러 선택지에 걸쳐 일관되게 나타나는 견고한 결과인지 한눈에 볼 수 있습니다.
왜 중요한가
다중우주분석은 재현성 위기(replication crisis) 논의 이후 확산된 방법으로, 연구자가 데이터 전처리나 통계 모형을 선택하는 과정에서 의식하지 못한 채 결과를 원하는 방향으로 유도하는 연구자 자유도 문제를 투명하게 드러내는 데 목적이 있습니다. 하나의 대표 분석만 보고하는 기존 관행 대신 가능한 모든 분석 경로의 결과를 함께 제시함으로써, 결론이 특정 선택에 취약한 것인지 여러 조건에서 일관된 것인지를 독자가 직접 판단할 수 있게 해줍니다. 이 때문에 심리학, 사회과학을 중심으로 오픈사이언스와 투명성 강화 흐름에서 중요하게 다뤄지는 방법론입니다.
논문에서는 이렇게 쓰입니다
결과의 강건성을 다양한 분석 선택지 전반에 걸쳐 검토한 절차를 설명하는 문장이다.
이 문장은 분석 방법에 따라 통계적 유의성 자체는 흔들릴 수 있지만 관계의 방향성은 비교적 안정적으로 유지되었다는 것을 보여줍니다. 이런 결과는 효과의 존재 여부에 대해 신중한 해석이 필요함을 시사합니다.
이 문장은 다중우주분석이 개별 연구뿐 아니라 여러 연구를 종합하는 메타분석 단계에서도 결과의 강건성을 점검하는 데 활용될 수 있음을 보여줍니다.
조금 더 깊게 보면
다중우주분석과 자주 함께 언급되는 개념으로 명세곡선분석(specification curve analysis)이 있는데, 이는 다중우주분석으로 얻은 수많은 결과를 효과크기 순서대로 정렬한 곡선과 각 분석에 쓰인 선택지 조합을 함께 시각화하여 결과의 패턴을 한눈에 파악할 수 있게 해주는 보고 방식입니다. 다중우주분석을 수행하려면 먼저 어떤 분석적 결정 지점들(이상치 처리, 통제변수 선택, 척도 구성 방법 등)이 결과에 영향을 줄 수 있는지 사전에 목록화해야 하며, 이 목록을 얼마나 포괄적이고 합리적으로 구성하는지가 분석의 신뢰성을 좌우합니다. 사전등록(preregistration)과 함께 사용하면, 분석 계획 단계에서부터 어떤 대안적 선택지들을 검토할지 미리 명시함으로써 사후적 자의성을 더욱 줄일 수 있습니다.
주의할 점
다중우주분석은 계산 비용이 크고, 어떤 선택지들을 '합리적'이라고 포함시킬지 자체도 연구자의 판단에 의존한다는 한계가 있다.