스탯체크 (statcheck)
쉽게 풀면
논문에는 검정통계량, 자유도, 유의확률이 함께 보고되는 경우가 많습니다. 스탯체크는 이 숫자들을 논문 본문에서 자동으로 뽑아 내, 보고된 자유도와 검정통계량으로 계산한 유의확률이 실제로 적힌 값과 맞는지를 확인해 주는 프로그램입니다. 맞지 않으면 어딘가에서 옮겨 적는 실수나 반올림 문제, 드물게는 의도적 조작이 있었을 가능성을 시사합니다.
왜 중요한가
심리학 분야 논문을 대량으로 검사한 연구에서 상당수 논문에 불일치가 있고, 그중 일부는 결론을 바꿀 정도였다는 결과가 보고되어 큰 반향을 일으켰습니다. 일부 학술지는 투고 단계에서 이 검사를 자동으로 수행합니다. 사람이 일일이 계산하지 않고도 보고 품질을 점검할 수 있다는 점에서 출판 후 검증의 실용적 수단이 되었습니다.
논문에서는 이렇게 쓰입니다
자동 점검을 투고 절차에 결합한 학술지 정책을 설명합니다.
대량 검사 결과를 수치로 제시하는 메타연구식 문장입니다.
조금 더 깊게 보면
이 도구는 미국심리학회 양식으로 보고된 통계치를 인식하도록 설계되어, 표 안의 값이나 다른 형식으로 적힌 값은 놓칠 수 있습니다. 또 단측검정, 보정된 유의확률, 사후 보정처럼 정당한 사유로 불일치가 나타날 수 있어 결과는 항상 사람이 확인해야 합니다. 벤포드 법칙 검사, 그림 테스트, 스프라이트 기법처럼 보고된 수치의 내적 정합성을 확인하는 다른 도구들과 함께 활용됩니다.
주의할 점
불일치가 곧 조작을 뜻하지는 않으며, 대부분은 단순한 전사 오류나 반올림 때문입니다. 통계 설계와 해석의 적절성까지 판단하는 통계 심사와 달리, 이 도구는 보고된 숫자들 사이의 산술적 일관성만 확인합니다.