통계 심사 (Statistical Review)
한 줄 정의: 통계 전문가가 논문의 분석 타당성을 별도로 검토하는 심사 절차입니다.
쉽게 풀면
일반 동료심사자는 해당 분야의 내용 전문가이지만 통계 방법까지 깊이 검토하기는 어렵습니다. 통계 심사는 통계학자나 방법론 전문가가 표본 크기 산정, 분석 모형 선택, 결측치 처리, 다중비교 보정 같은 항목을 따로 살펴보는 절차입니다. 의학 학술지를 중심으로 제도화되어 있습니다.
왜 중요한가
통계적 오류는 결론을 뒤집을 수 있는데도 일반 심사에서 놓치기 쉬워, 실제로 통계 심사를 도입한 학술지에서 보고의 질이 개선되었다는 연구가 있습니다. 선택적 결과보고나 피해킹 같은 문제를 출판 전에 걸러 내는 기능도 합니다. 자료와 코드 공개 요구와 결합하면 검증 가능성이 크게 높아집니다.
논문에서는 이렇게 쓰입니다
"본 학술지는 무작위배정 임상시험 원고에 대해 통계 심사를 의무적으로 시행하고 있다."
특정 연구 유형에 통계 심사를 필수화한 편집 정책 문장입니다.
"통계 심사 도입 전후를 비교한 결과 신뢰구간 보고 비율이 유의하게 증가하였다."
제도의 효과를 보고 지표로 평가한 메타연구식 서술입니다.
조금 더 깊게 보면
운영 방식은 모든 원고를 대상으로 하는 경우, 수락 직전 단계에서만 시행하는 경우, 특정 연구설계에만 적용하는 경우로 나뉩니다. 심사자는 보고지침 체크리스트와 사전등록된 분석 계획을 대조하며, 필요하면 원자료나 분석 코드를 요청하기도 합니다. 전문 인력이 부족해 지연이 생긴다는 점이 제도 확산의 주된 걸림돌입니다.
주의할 점
통계 보고의 내적 일관성을 자동으로 점검하는 소프트웨어 검사와 달리, 통계 심사는 설계와 해석의 적절성까지 사람이 판단하는 절차입니다. 또 통계 심사를 통과했다는 사실이 결과의 참됨을 보증하지는 않습니다.