의심스러운 연구관행 (Questionable Research Practices)

한 줄 정의: 데이터를 조작하거나 표절하는 명백한 부정행위는 아니지만, 연구 결과를 유리하게 보이도록 만드는 여러 편법적인 연구 관행을 통틀어 이르는 말입니다.

쉽게 풀면

시험 답안을 조작하지는 않았지만, 여러 번 다시 채점받아 본 뒤 가장 점수가 잘 나온 결과만 제출하는 학생을 상상해 보세요. 의심스러운 연구관행(줄여서 QRP)이 딱 이런 식입니다. 대표적으로 유의한 결과가 나올 때까지 분석 방법이나 변수를 이리저리 바꿔가며 시도하는 "p-hacking", 결과를 먼저 보고 나서 마치 처음부터 그 결과를 예상했던 것처럼 가설을 다시 쓰는 "HARKing"(Hypothesizing After Results are Known), 그리고 원하는 결과가 나온 실험만 골라 보고하는 선택적 보고가 있습니다. 이런 관행은 규칙을 대놓고 어긴 건 아니지만, 연구 결과의 신뢰도를 은근슬쩍 부풀린다는 점에서 문제가 됩니다.

왜 중요한가

QRP는 심리학, 생의학, 사회과학 전반에서 벌어지고 있는 재현성 위기(replication crisis)의 핵심 원인 중 하나로 지목되면서, 연구방법론과 메타과학(meta-science) 분야의 중요한 논의 주제가 되었습니다. 개별 연구자의 고의적 부정행위보다 훨씬 흔하게 발생할 수 있는 문제이기 때문에, 학술지의 심사 기준과 연구비 지원 기관의 정책, 사전등록 제도 등 연구 생태계 전반의 개혁 논의와 밀접하게 연결되어 있습니다.

논문에서는 이렇게 쓰입니다

"사전 등록 없이 다양한 통계 모형을 시도한 뒤 유의한 결과만 보고하는 것과 같은 의심스러운 연구관행(QRP)이 심리학 분야 재현성 위기의 주요 원인 중 하나로 지목되었다."

이 문장은 연구자가 분석 계획을 미리 정해두지 않고 여러 방법을 시도해 본 뒤 유의한 결과만 골라 발표하는 관행이, 다른 연구자가 같은 결과를 재현하지 못하는 문제의 원인으로 여겨진다는 뜻입니다.

"연구자들을 대상으로 한 설문조사에서 상당수가 결과가 유의하지 않을 경우 표본을 추가로 모집한 경험이 있다고 응답하였으며, 이는 대표적인 QRP 사례로 분류된다."

메타과학 연구에서는 QRP가 소수 연구자의 특이한 행동이 아니라, 실제로 많은 연구자가 무심코 저지르는 흔한 관행이라는 점을 설문을 통해 드러낸다는 뜻입니다.

"임상시험 등록 정보와 실제 발표된 논문의 결과 변수를 비교한 결과, 상당수 연구에서 사전에 명시된 주요 결과변수가 최종 보고서에서 누락되거나 변경되어 있었다."

의생명과학 연구에서는 임상시험을 미리 등록해둔 계획과 실제 발표 논문을 대조함으로써, 결과를 유리하게 바꿔 보고하는 선택적 보고 관행을 검증한다는 것을 보여줍니다.

조금 더 깊게 보면

QRP를 줄이기 위한 대표적인 제도적 장치로는 분석 계획을 데이터 수집 전에 미리 공개하는 사전등록, 가설 확인 목적의 확증적 분석과 새로운 패턴을 찾는 탐색적 분석을 명확히 구분해 보고하는 관행, 그리고 유의하지 않은 결과도 출판될 수 있도록 하는 결과 비의존적 심사(registered report) 제도 등이 있습니다. 논문을 읽을 때는 저자가 사전등록을 했는지, 탐색적 분석과 확증적 분석을 구분해서 제시했는지를 살펴보면 QRP 위험을 어느 정도 가늠할 수 있습니다. 다만 QRP는 대부분 의도적 조작이라기보다 연구자의 인지적 편향이나 관행에서 비롯되는 경우가 많다는 점도 함께 고려해야 합니다.

주의할 점

QRP는 데이터를 지어내는 연구부정행위만큼 심각하게 다뤄지지 않는 경우가 많지만, 연구의 진실성을 갉아먹는다는 점에서는 다르지 않습니다. 분석 방법과 가설을 연구 시작 전에 미리 공개 등록해두는 사전등록은 이런 관행을 원천적으로 막는 대표적인 대책으로 꼽힙니다.