선택적 결과보고 (Selective Outcome Reporting)

한 줄 정의: 연구자가 원래 계획했던 여러 결과지표 중 유의한 결과가 나온 지표만 논문에 보고하고, 유의하지 않았던 지표는 언급하지 않는 관행입니다.

쉽게 풀면

학기 초에 "이번 학기엔 국어, 수학, 영어, 과학, 사회 이렇게 다섯 과목을 열심히 공부하겠다"고 선언해 놓고, 학기가 끝난 뒤 성적표에는 잘 나온 세 과목만 올리고 나머지 두 과목은 아예 언급하지 않는다면 어떨까요? 성적표만 보면 훌륭한 학생처럼 보이지만, 실제로는 절반의 결과만 알려준 셈입니다. 선택적 결과보고도 마찬가지입니다. 임상시험이나 연구를 시작하기 전에 "이러이러한 지표를 측정하겠다"고 계획을 세워놓고, 논문을 쓸 때는 그중 통계적으로 유의했던 지표만 강조하고 유의하지 않았던 지표는 슬쩍 빼버리는 것입니다.

왜 중요한가

선택적 결과보고는 연구 결과가 실제보다 더 긍정적으로 보이게 만들어 임상적 의사결정이나 정책 판단을 왜곡할 수 있기 때문에, 연구윤리와 메타분석 방법론 논문에서 비중 있게 다뤄지는 문제입니다. 개별 연구의 신뢰도를 넘어, 여러 연구를 종합하는 체계적 문헌고찰이나 메타분석의 결과 자체를 편향시킬 수 있어 근거 기반 의학의 신뢰성과도 직결됩니다.

논문에서는 이렇게 쓰입니다

"임상시험 등록 정보와 실제 발표된 논문을 대조한 결과, 1차 평가지표가 사전등록 당시와 다르게 바뀌어 있었고, 사전등록 시점에 명시되었던 지표 두 개는 최종 논문에서 아예 보고되지 않았다 (selective outcome reporting)."

이 문장은 연구가 사전에 계획한 대로 투명하게 보고되었는지를 사전등록 기록과 비교해 검증할 수 있음을 보여줍니다.

"메타분석에 포함된 연구들의 위험비뚤림을 평가한 결과, 다수의 연구에서 선택적 결과보고 위험이 '높음'으로 판정되어 결과 해석에 신중을 기해야 한다고 언급되었다."

체계적 문헌고찰 논문에서는 개별 연구의 선택적 결과보고 가능성을 표준화된 도구로 평가하고, 이를 근거로 종합 결과의 신뢰도를 조정하기도 합니다.

"교육 프로그램의 효과를 측정한 설문 항목 중 유의한 차이가 없었던 하위 척도들이 최종 보고서에서 누락된 사실이 사후 검토 과정에서 드러났다."

임상연구뿐 아니라 교육학, 사회과학 연구에서도 여러 측정 지표 중 원하는 결과만 선별해 보고하는 유사한 문제가 지적될 수 있습니다.

조금 더 깊게 보면

선택적 결과보고를 확인하는 대표적인 방법은 임상시험 등록 시점에 명시된 평가지표 목록과 실제 발표된 논문의 결과지표를 하나씩 대조하는 것으로, 코크란 공동연구(Cochrane Collaboration) 등이 제시한 비뚤림 위험 평가 도구에서도 이를 별도의 평가 항목으로 다룹니다. 1차 평가지표가 논문 발표 시점에 슬그머니 2차 지표로 바뀌거나, 애초에 계획에 없던 지표가 새로 등장하는 경우도 넓은 의미의 선택적 결과보고로 간주됩니다.

주의할 점

선택적 결과보고는 피해킹과 자주 혼동되지만 구분되는 개념입니다. p-해킹은 원하는 결과가 나올 때까지 분석 방법 자체를 바꿔가며 시도하는 것이고, 선택적 결과보고는 분석은 계획대로 했더라도 그 결과 중 일부만 골라서 보고하는 것입니다. 임상시험 등록 제도는 바로 이런 사후 선별을 막기 위해 연구 시작 전에 평가지표를 공개적으로 못박아두는 장치입니다.