GRIM 테스트 (GRIM Test)

한 줄 정의: 논문에 보고된 평균값이 실제 표본 크기와 정수 데이터로 계산 가능한 값인지를 역산해, 통계적으로 불가능한 숫자가 있는지 찾아내는 데이터 위조 탐지 기법입니다.

쉽게 풀면

GRIM(Granularity-Related Inconsistency of Means, 평균값의 세분성 불일치) 테스트는 아주 단순한 수학 원리에 기반합니다.

예를 들어 5명의 응답자가 1~7점 척도로 답한 설문 문항의 평균이 "3.72"로 보고되었다면, 이 값은 정수 5개의 합을 5로 나눈 결과여야 하므로 실제로 나올 수 있는 값들이 제한되어 있습니다. GRIM 테스트는 논문에 적힌 평균값이 그 표본 크기로는 수학적으로 나올 수 없는 값인지를 계산해서 확인합니다.

만약 나올 수 없는 값이라면, 데이터가 잘못 기록되었거나 조작되었을 가능성을 의심해볼 수 있습니다. 이 방법은 심리학 논문들의 재현성 위기 속에서 사후에 원자료 없이도 이상 징후를 잡아낼 수 있는 간단한 도구로 널리 알려졌습니다.

왜 중요한가

GRIM 테스트는 원자료 없이도 논문에 이미 공개된 요약 통계값만으로 이상 징후를 탐지할 수 있어, 재현성 위기 이후 학계에서 사후 검증(post-publication review) 문화가 자리 잡는 데 중요한 역할을 했습니다.

심리학, 사회과학처럼 소규모 표본과 정수·척도 데이터를 다루는 분야에서 특히 유용하며, 메타연구나 연구진실성(research integrity) 논문에서 데이터 이상을 선별하는 스크리닝 도구로 자주 인용됩니다.

또한 이 기법은 이후 표준편차까지 검증하는 확장 기법(SPRITE 등)의 토대가 되었다는 점에서도 의의가 있습니다.

어떤 절차인가

GRIM(Granularity-Related Inconsistency of Means) 검사는 “정수로 기록되는 자료의 평균은 가능한 값이 정해져 있다”는 산술 사실을 이용합니다. 절차는 짧습니다.

보고된 표본 크기 n과 평균 m(소수 몇째 자리까지 적었는지)을 확인합니다.
자료가 정수라면 합 S는 정수이므로, 가능한 평균은 S/n입니다. 척도 범위 안의 모든 정수 합 S에 대해 S/n을 보고된 자릿수로 반올림해 봅니다.
그중 보고된 m과 일치하는 값이 하나도 없으면 그 평균은 보고된 n과 양립할 수 없습니다.

작은 예(가상의 값, 코드로 계산). 1~7점 척도 문항에 n = 5명이 답하고 평균이 3.72로 보고되었다면, 가능한 평균은 0.2 간격(3.6, 3.8 …)이므로 3.72는 나올 수 없습니다. n = 28이고 평균이 5.19라면, 합이 145일 때 145/28 = 5.18, 146일 때 146/28 = 5.21이어서 5.19도 나올 수 없습니다. 반올림 규칙(0.5를 올리는지)에 따라 경계값은 달라질 수 있어 두 규칙을 모두 확인하는 것이 일반적입니다.

표본이 작을수록 걸러내는 힘이 큽니다. 1~7점 척도에서 소수 둘째 자리까지 적힌 평균은 601개의 값이 가능하지만, n = 10이면 그중 61개(약 10%), n = 28이면 169개, n = 50이면 301개, n = 99이면 595개만 도달할 수 있습니다. n ≥ 100이면 모든 값이 가능해져 이 검사로 걸러지는 것이 없습니다.

언제 쓰고 무엇을 얻나

GRIM은 요약 통계만으로 보고 내용의 내적 일관성을 점검하는 도구입니다. 원자료가 없어도 쓸 수 있어서 출판 후 검토, 메타연구, 연구진실성 점검에서 쓰입니다(Brown & Heathers, 2017).

적용 조건: 자료가 정수이거나 일정한 간격의 값(예: 리커트 문항)이어야 하고, 그 평균에 쓰인 사례 수 n을 알아야 합니다. 여러 문항을 합산한 척도라면 사람당 문항 수 k를 곱한 n·k를 사용합니다.
얻는 것: 불일치가 있는 평균의 목록. 불일치는 “이 숫자는 이 n으로는 나올 수 없다”는 사실을 알려 줄 뿐, 왜 그런지는 알려 주지 않습니다.
이어지는 방법: 표준편차까지 점검하는 GRIMMER(Anaya, 2016), 보고된 평균과 표준편차를 만족하는 자료를 재구성하는 SPRITE(Heathers 외, 2018)가 있습니다.

불일치의 흔한 원인은 결측으로 인한 n의 불일치, 반올림 방식의 차이, 오기입, 사후 가중치 사용이며 조작은 그중 한 가지 가능성일 뿐입니다. 불일치를 발견하면 저자에게 확인을 요청하는 절차가 먼저입니다.

논문에는 이렇게 적는다

GRIM을 사용한 연구(또는 GRIM 점검 결과를 보고하는 글)에서는 다음을 밝힙니다.

점검 대상 평균의 개수와 선별 기준(어떤 표·어떤 문항, n을 알 수 있는 것만 등)
사용한 반올림 규칙과 도구(직접 계산, 공개된 계산기 등)
불일치로 판정된 값의 수와 그 평균의 n·척도 정보
불일치의 원인을 확인했는지(저자 문의, 원자료 확인) 여부

보고된 평균 12개 중 2개가 보고된 표본 크기와 양립할 수 없었으며(GRIM 검사), 저자에게 확인을 요청하였다.처럼 “양립할 수 없다”는 표현을 쓰고 “조작”이라는 단정은 피합니다. (수치는 가상의 값입니다.)

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"게재 후 GRIM 테스트(GRIM Test)를 적용한 결과, 논문에 보고된 평균값 중 다수가 표본 크기와 척도 범위상 산출이 불가능한 값으로 확인되어 편집위원회에 통보되었다."

이 문장은 논문이 이미 출판된 이후에도 제3자가 공개된 통계값만으로 데이터의 신뢰성을 재검증할 수 있음을 보여주는 사후 검증 사례를 설명한 것입니다.

"대규모 메타연구팀은 수백 편의 심리학 논문에 보고된 리커트 척도 평균값에 GRIM 테스트를 일괄 적용하여 잠재적으로 문제가 있는 논문 목록을 선별하였다."

이 문장은 개별 논문 하나하나가 아니라 다수의 논문을 대상으로 자동화된 방식으로 GRIM 테스트를 적용해, 추가 검토가 필요한 논문들을 먼저 걸러냈다는 뜻입니다.

"교신저자는 GRIM 테스트로 지적된 평균값 불일치가 결측치를 제외한 유효 표본 크기를 명시하지 않은 데서 비롯된 단순 기재 오류였음을 원자료 제공을 통해 소명하였다."

이 문장은 GRIM 테스트에서 이상이 발견되었더라도 그것이 곧바로 데이터 조작을 의미하지는 않으며, 표본 크기 표기 실수처럼 정당한 이유로 해명될 수도 있다는 사례를 보여줍니다.

조금 더 깊게 보면

GRIM 테스트의 원리는 정수 값 n개의 합을 n으로 나눈 결과로 나올 수 있는 소수점 값의 집합이 제한적이라는 단순한 산술적 사실에 기반합니다.

이 아이디어는 이후 평균뿐 아니라 표준편차의 가능 범위까지 확인하는 GRIMMER 테스트나, 주어진 평균과 표준편차를 만족하는 데이터 분포를 시뮬레이션해 보는 SPRITE 같은 후속 기법으로 확장되었습니다.

다만 이런 기법들은 어디까지나 "통계적으로 불가능하거나 매우 있음직하지 않다"는 정황을 제시할 뿐, 그 자체로 위조를 증명하는 것은 아니라는 점에서 항상 추가적인 검증 절차와 함께 논의됩니다.

주의할 점

GRIM 테스트에서 "불가능한 평균값"이 발견되었다고 해서 곧바로 연구자료 위조·변조로 단정할 수는 없습니다. 반올림 방식의 오기재나 결측치 처리 방식 차이처럼 단순한 실수로도 같은 결과가 나올 수 있으므로, 원자료 확인이나 저자에게 소명을 요청하는 절차가 함께 필요합니다.

헷갈리기 쉬운 용어

요약 통계로 보고 내용을 점검하는 방법들은 점검하는 대상이 서로 다릅니다.

방법	점검 대상	핵심
GRIM	평균	정수 자료의 평균이 보고된 n으로 가능한 값인가
GRIMMER	표준편차	보고된 평균·n에서 그 표준편차가 가능한가
SPRITE	평균과 표준편차 함께	두 값을 만족하는 자료 집합이 존재하는지 재구성해 봄

참고 문헌

Brown, N. J. L., & Heathers, J. A. J. (2017). The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology. Social Psychological and Personality Science, 8(4), 363–369.
Anaya, J. (2016). The GRIMMER test: A method for testing the validity of reported measures of variability. PeerJ Preprints.
Heathers, J. A. J., Anaya, J., van der Zee, T., & Brown, N. J. L. (2018). Recovering data from summary statistics: Sample Parameter Reconstruction via Iterative TEchniques (SPRITE). PeerJ Preprints.
Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 48, 1205–1226.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.