의심스러운 연구관행 (Questionable Research Practices)
쉽게 풀면
시험 답안을 조작하지는 않았지만, 여러 번 다시 채점받아 본 뒤 가장 점수가 잘 나온 결과만 제출하는 학생을 상상해 보세요. 의심스러운 연구관행(줄여서 QRP)이 딱 이런 식입니다.
대표적으로 유의한 결과가 나올 때까지 분석 방법이나 변수를 이리저리 바꿔가며 시도하는 "p-hacking", 결과를 먼저 보고 나서 마치 처음부터 그 결과를 예상했던 것처럼 가설을 다시 쓰는 "HARKing"(Hypothesizing After Results are Known), 그리고 원하는 결과가 나온 실험만 골라 보고하는 선택적 보고가 있습니다.
이런 관행은 규칙을 대놓고 어긴 건 아니지만, 연구 결과의 신뢰도를 은근슬쩍 부풀린다는 점에서 문제가 됩니다.
왜 중요한가
QRP는 심리학, 생의학, 사회과학 전반에서 벌어지고 있는 재현성 위기(replication crisis)의 핵심 원인 중 하나로 지목되면서, 연구방법론과 메타과학(meta-science) 분야의 중요한 논의 주제가 되었습니다. 개별 연구자의 고의적 부정행위보다 훨씬 흔하게 발생할 수 있는 문제이기 때문에, 학술지의 심사 기준과 연구비 지원 기관의 정책, 사전등록 제도 등 연구 생태계 전반의 개혁 논의와 밀접하게 연결되어 있습니다.
핵심 정리
- 의심스러운 연구관행(QRP)은 날조·변조·표절(FFP)처럼 명백한 부정행위는 아니지만 결과를 유리하게 보이게 하여 연구의 신뢰를 해치는 관행의 넓은 범주입니다. 존(John, Loewenstein, & Prelec, 2012)은 심리학자 2천여 명에게 열 가지 관행을 해 본 적이 있는지 물었습니다.
- 대표 유형: 분석 유연성 악용(p-해킹), 결과를 본 뒤 가설 세우기(HARKing; Kerr, 1998), 선택적 보고(일부 변수·연구만 보고, 선택적 결과 보고), 표본 추가를 결과 보고 결정하기(선택적 중단).
- 시몬스 외(Simmons, Nelson, & Simonsohn, 2011)는 시뮬레이션으로 이런 자유도를 합치면 실제 효과가 없어도 유의한 결과가 나올 확률이 크게 올라감을 보였습니다. 여러 자유도를 결합한 조건에서 위양성률이 60%를 넘는 사례를 제시했습니다.
- 대책으로 사전등록과 등록 보고서가 제안됩니다.
예시로 보기
QRP 중 하나인 선택적 중단(결과를 보다가 유의하면 그만두기)의 영향을 시뮬레이션으로 보여 주는 예입니다. 두 집단의 모평균이 같은 자료(귀무가설이 참)를 만들어, 집단당 10명씩 늘려 가며 최대 100명까지 모읍니다(양측 z 검정, α = .05, 각 20,000회 반복, 코드로 계산).
| 분석 방식 | 귀무가설을 기각한 비율 |
|---|---|
| 집단당 100명을 모은 뒤 한 번만 검정 | 약 5.0% (명목 α와 일치) |
| 10명씩 모을 때마다 검정하여 처음 유의하면 중단 (최대 10회) | 약 19.7% |
실제 효과가 없는데도 반복 확인만으로 위양성이 약 4배가 됩니다. 존 외(2012) 설문에서는 결과를 보고 표본을 더 모을지 결정해 본 적이 있다고 답한 비율이 절반을 넘었다고 보고됩니다(약 56%). 같은 설문에서 자료 조작을 했다고 답한 비율은 1% 미만(약 0.6%)이었습니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| QRP는 사기이고 고의다. | 많은 경우 연구자의 편향이나 관행에서 비롯되며 고의가 아닐 수 있습니다. 그렇다고 결과의 신뢰를 해치는 정도가 줄지는 않습니다. |
| QRP는 드물다. | 메타분석(Fanelli, 2009)에서 연구자의 약 1.97%가 자료 날조·변조를, 약 33.7%가 다른 의심스러운 관행을 인정했다고 보고됩니다. 자기 보고라 실제는 다를 수 있습니다. |
| 탐색적 분석은 모두 QRP다. | 탐색 자체는 정상적인 과정입니다. 문제는 탐색 결과를 가설을 검증한 것처럼 보고하는 것입니다. |
| 사전등록하면 해결된다. | 등록한 계획과 실제 보고가 일치하는지 확인해야 효과가 있습니다. 시험계획서와 발표 논문을 비교한 연구에서는 계획서의 주요 결과가 논문에서 바뀌거나 빠진 시험이 약 6할로 보고됩니다(Chan 외, 2004). |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 연구자가 분석 계획을 미리 정해두지 않고 여러 방법을 시도해 본 뒤 유의한 결과만 골라 발표하는 관행이, 다른 연구자가 같은 결과를 재현하지 못하는 문제의 원인으로 여겨진다는 뜻입니다.
메타과학 연구에서는 QRP가 소수 연구자의 특이한 행동이 아니라, 실제로 많은 연구자가 무심코 저지르는 흔한 관행이라는 점을 설문을 통해 드러낸다는 뜻입니다.
의생명과학 연구에서는 임상시험을 미리 등록해둔 계획과 실제 발표 논문을 대조함으로써, 결과를 유리하게 바꿔 보고하는 선택적 보고 관행을 검증한다는 것을 보여줍니다.
조금 더 깊게 보면
QRP를 줄이기 위한 대표적인 제도적 장치로는 분석 계획을 데이터 수집 전에 미리 공개하는 사전등록, 가설 확인 목적의 확증적 분석과 새로운 패턴을 찾는 탐색적 분석을 명확히 구분해 보고하는 관행, 그리고 유의하지 않은 결과도 출판될 수 있도록 하는 결과 비의존적 심사(registered report) 제도 등이 있습니다.
논문을 읽을 때는 저자가 사전등록을 했는지, 탐색적 분석과 확증적 분석을 구분해서 제시했는지를 살펴보면 QRP 위험을 어느 정도 가늠할 수 있습니다. 다만 QRP는 대부분 의도적 조작이라기보다 연구자의 인지적 편향이나 관행에서 비롯되는 경우가 많다는 점도 함께 고려해야 합니다.
주의할 점
QRP는 데이터를 지어내는 연구부정행위(FFP)만큼 심각하게 다뤄지지 않는 경우가 많지만, 연구의 진실성을 갉아먹는다는 점에서는 다르지 않습니다. 분석 방법과 가설을 연구 시작 전에 미리 공개 등록해두는 사전등록은 이런 관행을 크게 줄이는 대표적인 대책으로 꼽히지만, 등록된 계획과 실제 보고를 대조하지 않으면 효과가 제한됩니다.
헷갈리기 쉬운 용어
| 용어 | 핵심 | 한 줄 설명 |
|---|---|---|
| p-해킹 | 분석을 바꿔 가며 유의한 결과를 찾음 | QRP의 한 유형 |
| HARKing | 결과를 본 뒤 가설을 세우고 처음부터 예상한 듯 서술 | QRP의 한 유형 |
| 선택적 결과 보고 | 유의한 결과만 골라 보고 | QRP의 한 유형 |
| 출판편향 | 유의한 결과가 더 출판됨 | QRP와 달리 학계·출판 시스템 수준의 현상 |
| 연구부정행위 | 날조·변조·표절 | QRP보다 명백하고 제재 대상 |
참고 문헌
- John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366.
- Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217.
- Fanelli, D. (2009). How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS ONE, 4(5), e5738.
- Chan, A.-W., Hróbjartsson, A., Haahr, M. T., Gøtzsche, P. C., & Altman, D. G. (2004). Empirical evidence for selective reporting of outcomes in randomized trials: Comparison of protocols to published articles. JAMA, 291(20), 2457–2465.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.