데이터 체리피킹 (cherry-picking data)

한 줄 정의: 연구 가설에 부합하는 유리한 데이터나 결과만을 선택적으로 제시하고, 이에 반하는 자료는 언급하지 않는 행위.

쉽게 풀면

수집한 여러 데이터 중에서 자신의 가설에 유리한 부분만 골라 논문에 싣고, 가설에 맞지 않는 결과는 아예 언급하지 않는 것을 말한다. 마치 잘 익은 체리만 골라 따는 것에 비유해 이런 이름이 붙었다. 통계적으로 정당한 사유가 있어 특정 자료를 제외하는 것과, 결론에 유리하도록 임의로 골라내는 체리피킹은 명확히 구분되어야 한다.

왜 중요한가

데이터 체리피킹은 연구 결과의 신뢰성과 재현 가능성을 직접적으로 위협하기 때문에 연구윤리와 출판윤리 논의에서 반복적으로 다뤄진다. 특정 결과만 선택적으로 보고하면 메타분석이나 후속 연구가 왜곡된 근거 위에서 수행될 위험이 커지고, 결과적으로 해당 분야 전체의 지식 축적에 악영향을 준다. 이 때문에 임상시험 사전등록, 출판 편향 연구, 재현성 위기 논의 등 상위 연구주제와 밀접하게 연결된다.

논문에서는 이렇게 쓰입니다

"저자들은 세 차례의 실험 중 유의미한 결과가 나온 한 차례만 논문에 보고해 데이터 체리피킹이라는 비판을 받았다."

여러 번의 실험 중 유리한 결과만 선택적으로 보고한 전형적인 체리피킹 사례다.

"메타분석 결과, 사전등록된 프로토콜과 다르게 일부 연구에서 유의한 하위집단 결과만 강조해 보고한 정황이 발견되었으며, 이는 데이터 체리피킹의 가능성을 시사한다."

임상 연구 메타분석에서 사전등록 프로토콜과 실제 보고 내용을 대조해 선택적 보고 여부를 점검한 사례다.

"제안된 모델은 특정 벤치마크 데이터셋에서만 우수한 성능을 보였으며, 성능이 낮게 나온 다른 데이터셋에 대한 결과는 논문에 포함되지 않아 체리피킹 우려가 제기되었다."

기계학습 분야에서 여러 벤치마크 중 유리한 결과만 골라 제시한 경우로, 실험 결과의 일관성과 투명한 보고가 왜 중요한지를 보여준다.

조금 더 깊게 보면

체리피킹을 판별하는 대표적인 방법 중 하나는 사전등록(pre-registration)된 연구 계획과 실제 발표된 결과를 비교하는 것으로, 계획에 없던 결과가 강조되거나 계획된 분석 중 일부가 누락되었다면 선택적 보고의 근거가 될 수 있다. 또한 여러 연구를 종합하는 메타분석에서는 깔때기 그림(funnel plot)과 같은 도구로 출판 편향이나 선택적 보고의 흔적을 간접적으로 파악하기도 한다. 체리피킹은 결과 자체를 조작하는 데이터 변조와는 구분되며, 실제 얻은 데이터 중 일부만 선택적으로 드러낸다는 점에서 투명성과 완전성의 문제로 다뤄진다. 최근에는 데이터셋이나 실험 조건을 다양화해 보고하도록 요구하는 저널의 방침이 이러한 문제를 완화하는 방향으로 논의되고 있다.

주의할 점

이상치 제거처럼 통계적으로 정당한 사유가 있는 자료 배제와, 결론에 유리하도록 임의로 선택하는 체리피킹은 명확히 구분되어야 한다.