데이터 준설 (data dredging)
쉽게 풀면
뚜렷한 가설 없이 방대한 데이터를 여러 각도로 계속 뒤져서, 우연히라도 통계적으로 의미 있어 보이는 관계를 찾아내는 것을 말한다. 변수가 많을수록 우연히 유의미한 결과가 나올 확률도 높아지는데, 이를 마치 진짜 발견인 것처럼 포장하는 것이 문제다. 강바닥을 준설기로 훑듯 데이터를 뒤진다는 뜻에서 이런 이름이 붙었다.
왜 중요한가
대규모 데이터셋과 자동화된 통계 도구가 흔해지면서, 뚜렷한 가설 없이 수많은 변수 조합을 탐색하다 우연한 결과를 진짜 발견처럼 보고하는 문제가 여러 분야에서 반복적으로 지적되어 왔습니다. 데이터 준설은 재현성 위기(replication crisis) 논의의 핵심 원인 중 하나로 다뤄지며, 통계적 유의성과 실제 과학적 발견을 어떻게 구분할 것인가라는 근본적인 질문과 연결됩니다. 이 때문에 방법론 논문이나 연구윤리 지침에서 사전등록과 함께 데이터 준설을 예방하는 방안으로 자주 언급됩니다.
핵심 정리
- 무엇이 문제인가: 데이터를 여러 각도로 많이 검정한 뒤 유의하게 나온 것만 보고하면, 거짓 양성(실제로는 없는 관계를 있다고 보는 것)의 위험이 크게 늘어납니다.
- 왜 그런가: 유의수준 α = .05에서 H₀가 참인 검정을 하나 하면 우연히 유의할 확률이 5%입니다. 독립된 검정을 여러 번 하면 이 확률이 누적됩니다.
- 다른 이름: 데이터 스누핑, p-해킹. 통계적으로 유의한 것으로 제시할 수 있는 패턴을 찾으려고 데이터 분석을 오용하는 것을 가리킵니다.
- 연구 방식: Smith와 Ebrahim(2002)은 BMJ에서 이 문제를 편향·교란과 함께 다뤘습니다. Simmons 등(2011)은 자료 수집·분석·보고의 유연성이 실제 거짓 양성 비율을 크게 높인다는 점을 모의실험과 실험으로 보였습니다.
예시로 보기
독립된 검정을 n번 하고 모두 H₀가 참일 때, 적어도 하나가 α = .05에서 유의할 확률은 1 − 0.95ⁿ입니다.
| 검정 횟수 | 적어도 하나가 우연히 유의할 확률 |
|---|---|
| 1 | 5.0% |
| 5 | 22.6% |
| 20 | 64.2% |
| 100 | 99.4% |
검정이 서로 독립이고 모두 H₀가 참이라는 가정을 둔 계산이며(가상의 예), 실제 변수는 서로 상관이 있어 값이 다를 수 있습니다. 대책으로는 검정 횟수를 고려한 유의수준 보정(예: 20번이면 본페로니 보정으로 .05 ÷ 20 = .0025), 별도 표본에서의 재현, 분석 전 계획 공개(사전등록)가 논의됩니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 탐색적 분석은 모두 데이터 준설이다. | 탐색 자체는 필요합니다. 문제는 탐색에서 나온 결과를 사전에 세운 가설의 확증처럼 보고하는 것입니다. 탐색적이라고 밝히고 재현을 거치면 됩니다. |
| p-해킹은 과학 전체를 무너뜨린다. | Head 등(2015)은 텍스트 마이닝으로 p-해킹이 과학 전반에 퍼져 있음을 보였지만, 메타분석에서 그 영향은 실제 효과 크기에 비해 약해 보이며 과학적 합의를 크게 바꾸지는 않을 것이라고 결론지었습니다. |
| 유의한 결과가 나왔으니 인과관계이다. | 많은 변수를 사후에 뒤져 찾은 관계는 우연일 수 있고, 인과로 해석하려면 별도 자료에서의 재현이 필요합니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
방대한 변수 탐색 끝에 우연한 상관관계를 발견에 준한 실제 사례를 보여준다.
변수 수가 매우 많은 유전체 연구에서는 우연한 상관관계가 나올 가능성이 특히 커, 통계적 보정과 별도 데이터로 재검증하는 절차가 강조된다는 뜻입니다.
사회과학 분야에서도 여러 경제지표를 무작위로 대조하다 발견한 관계를 성급히 인과관계로 해석하는 것을 경계해야 한다는 의미입니다.
조금 더 깊게 보면
데이터 준설이 문제가 되는 근본적인 이유는 검정을 반복할수록 우연히 통계적으로 유의미한 결과가 나올 확률이 누적되어 커지기 때문이며, 이를 보정하지 않은 채 유의미한 결과만 골라 보고하면 실제로는 존재하지 않는 관계를 발견한 것처럼 보이게 됩니다. 이런 문제를 줄이기 위해 다중비교 보정, 독립적인 검증 표본을 이용한 재현, 분석 이전에 가설과 분석 계획을 공개하는 사전등록 등이 함께 논의됩니다. 논문을 읽을 때는 검토된 변수나 가설의 개수가 얼마나 많았는지, 그리고 발견된 결과가 별도 데이터로 재현되었는지를 확인하는 것이 중요합니다.
주의할 점
우연히 발견된 상관관계를 마치 검증된 가설처럼 제시하면 사후가설수립으로 이어지기 쉽다.
헷갈리기 쉬운 용어
| 용어 | 한 줄 설명 |
|---|---|
| 데이터 준설 | 가설 없이 많은 분석을 돌려 유의한 관계를 찾는 행위 |
| p-해킹 | 유의해질 때까지 자료 선택·분석 방법을 바꾸는 행위(거의 같은 뜻으로 쓰임) |
| 사후가설수립 | 결과를 본 뒤 가설을 세우고 사전에 세운 것처럼 제시하는 행위 |
| 데이터 체리피킹 | 유리한 자료만 골라 보여 주는 행위 |
참고 문헌
- Smith, G. D., & Ebrahim, S. (2002). Data dredging, bias, or confounding. BMJ, 325(7378), 1437–1438.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366.
- Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13(3), e1002106.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.