데이터 체리피킹 (cherry-picking data)
쉽게 풀면
수집한 여러 데이터 중에서 자신의 가설에 유리한 부분만 골라 논문에 싣고, 가설에 맞지 않는 결과는 아예 언급하지 않는 것을 말한다. 마치 잘 익은 체리만 골라 따는 것에 비유해 이런 이름이 붙었다. 통계적으로 정당한 사유가 있어 특정 자료를 제외하는 것과, 결론에 유리하도록 임의로 골라내는 체리피킹은 명확히 구분되어야 한다.
왜 중요한가
데이터 체리피킹은 연구 결과의 신뢰성과 재현 가능성을 직접적으로 위협하기 때문에 연구윤리와 출판윤리 논의에서 반복적으로 다뤄진다. 특정 결과만 선택적으로 보고하면 메타분석이나 후속 연구가 왜곡된 근거 위에서 수행될 위험이 커지고, 결과적으로 해당 분야 전체의 지식 축적에 악영향을 준다. 이 때문에 임상시험 사전등록, 출판 편향 연구, 재현성 위기 논의 등 상위 연구주제와 밀접하게 연결된다.
핵심 정리
- 체리피킹은 가설에 맞는 결과만 골라 보고하고 맞지 않는 결과는 빼는 것입니다. 거짓 숫자를 만드는 것이 아니라 진짜 데이터 중 일부만 보여 주는 선택적 보고입니다.
- 선택이 일어나는 단계는 여럿입니다: 어떤 데이터 점을 쓸지(임의 제외), 어떤 분석을 보고할지, 어떤 결과 변수를 강조할지, 어떤 연구를 발표할지, 어떤 비교 대상(벤치마크)을 보여 줄지.
- 임상시험 보고를 비교한 Chan 등(2004)은 통계적으로 유의한 결과가 유의하지 않은 결과보다 완전히 보고될 가능성이 높았음을 보고했습니다. 사전 계획에 있던 결과가 논문에서 빠지거나 바뀌는 문제를 다룬 것입니다.
- 분석 선택의 자유가 거짓 양성을 부풀린다는 점은 Simmons, Nelson, Simonsohn(2011)이 모의실험으로 보였습니다(p-해킹).
예시로 보기
선택이 왜 문제가 되는지는 간단한 계산으로 확인됩니다. 실제로는 효과가 전혀 없는데 서로 독립인 검정을 k개 하고, 각각 α = .05로 판정할 때 적어도 하나가 ‘유의’하게 나올 확률은 1 − 0.95k입니다.
| 검정 수 k | 1 | 3 | 5 | 10 | 20 |
|---|---|---|---|---|---|
| 적어도 하나 유의할 확률 | .050 | .143 | .226 | .401 | .642 |
여러 결과 중 유의한 것만 골라 보고하면 사실상 이 확률대로 우연이 ‘발견’이 됩니다. 검정이 독립이라는 가정은 단순화이므로 실제 값은 달라집니다. 결과 변수나 하위집단을 사후에 바꿔 보고하는 선택적 결과보고도 같은 구조입니다.
예방 수단은 분석 계획을 미리 공개하는 사전등록과, 계획한 모든 결과를 보고하는 규범입니다. 메타분석에서는 출판편향 때문에 연구가 통째로 빠지는 문제도 함께 점검합니다(Dwan et al., 2008).
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 데이터를 제외하면 모두 체리피킹이다. | 사전에 정한 기준(측정 오류, 프로토콜 위반)에 따라 이유와 함께 보고한 제외는 정당합니다. 결과를 본 뒤 유리하게 고르는 것이 문제입니다. |
| 체리피킹은 데이터 조작이다. | 데이터를 바꾸는 변조와 달리 실제 데이터의 일부만 드러내는 선택의 문제이며, 투명성과 완전성의 문제로 다룹니다. |
| 유의한 결과만 보고하는 것은 간결함의 문제일 뿐이다. | 보고되지 않은 결과를 모르는 독자와 후속 연구가 왜곡된 근거를 믿게 됩니다. |
| 무작위 표본이면 선택 문제가 없다. | 표본이 무작위여도 보고 단계의 선택은 별개로 일어납니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
여러 번의 실험 중 유리한 결과만 선택적으로 보고한 전형적인 체리피킹 사례다.
임상 연구 메타분석에서 사전등록 프로토콜과 실제 보고 내용을 대조해 선택적 보고 여부를 점검한 사례다.
기계학습 분야에서 여러 벤치마크 중 유리한 결과만 골라 제시한 경우로, 실험 결과의 일관성과 투명한 보고가 왜 중요한지를 보여준다.
조금 더 깊게 보면
체리피킹을 판별하는 대표적인 방법 중 하나는 사전등록(pre-registration)된 연구 계획과 실제 발표된 결과를 비교하는 것으로, 계획에 없던 결과가 강조되거나 계획된 분석 중 일부가 누락되었다면 선택적 보고의 근거가 될 수 있다.
또한 여러 연구를 종합하는 메타분석에서는 깔때기 그림(funnel plot)과 같은 도구로 출판 편향이나 선택적 보고의 흔적을 간접적으로 파악하기도 한다. 체리피킹은 결과 자체를 조작하는 데이터 변조와는 구분되며, 실제 얻은 데이터 중 일부만 선택적으로 드러낸다는 점에서 투명성과 완전성의 문제로 다뤄진다.
최근에는 데이터셋이나 실험 조건을 다양화해 보고하도록 요구하는 저널의 방침이 이러한 문제를 완화하는 방향으로 논의되고 있다.
주의할 점
이상치 제거처럼 통계적으로 정당한 사유가 있는 자료 배제와, 결론에 유리하도록 임의로 선택하는 체리피킹은 명확히 구분되어야 한다.
헷갈리기 쉬운 용어
| 용어 | 무엇이 선택·변경되나 |
|---|---|
| 데이터 체리피킹 | 유리한 데이터·결과만 골라 보고 |
| p-해킹 | p값이 유의해질 때까지 분석 방법을 바꿔 봄 |
| 사후가설수립(HARKing) | 결과를 본 뒤 가설을 세우고 처음부터 가설이었던 것처럼 제시 |
| 선택적 결과보고 | 사전에 정한 결과 변수 중 일부만 보고 |
| 출판편향 | 유의한 연구가 더 잘 발표되는 학계 수준의 편향 |
참고 문헌
- Chan, A.-W., Hróbjartsson, A., Haahr, M. T., Gøtzsche, P. C., & Altman, D. G. (2004). Empirical evidence for selective reporting of outcomes in randomized trials: Comparison of protocols to published articles. JAMA, 291(20), 2457–2465.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366.
- Dwan, K., Altman, D. G., Arnaiz, J. A., Bloom, J., Chan, A.-W., Cronin, E., Decullier, E., Easterbrook, P. J., Von Elm, E., Gamble, C., Ghersi, D., Ioannidis, J. P. A., Simes, J., & Williamson, P. R. (2008). Systematic review of the empirical evidence of study publication bias and outcome reporting bias. PLoS ONE, 3(8), e3081.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.