데이터 준설 (data dredging)

한 줄 정의: 사전에 세운 가설 없이 대규모 데이터에서 통계적으로 유의미해 보이는 상관관계를 찾을 때까지 무작위로 분석을 반복하는 행위.

쉽게 풀면

뚜렷한 가설 없이 방대한 데이터를 여러 각도로 계속 뒤져서, 우연히라도 통계적으로 의미 있어 보이는 관계를 찾아내는 것을 말한다. 변수가 많을수록 우연히 유의미한 결과가 나올 확률도 높아지는데, 이를 마치 진짜 발견인 것처럼 포장하는 것이 문제다. 강바닥을 준설기로 훑듯 데이터를 뒤진다는 뜻에서 이런 이름이 붙었다.

왜 중요한가

대규모 데이터셋과 자동화된 통계 도구가 흔해지면서, 뚜렷한 가설 없이 수많은 변수 조합을 탐색하다 우연한 결과를 진짜 발견처럼 보고하는 문제가 여러 분야에서 반복적으로 지적되어 왔습니다. 데이터 준설은 재현성 위기(replication crisis) 논의의 핵심 원인 중 하나로 다뤄지며, 통계적 유의성과 실제 과학적 발견을 어떻게 구분할 것인가라는 근본적인 질문과 연결됩니다. 이 때문에 방법론 논문이나 연구윤리 지침에서 사전등록과 함께 데이터 준설을 예방하는 방안으로 자주 언급됩니다.

논문에서는 이렇게 쓰입니다

"연구팀은 수백 개의 변수 조합을 무작위로 검토한 끝에 우연히 유의미해 보이는 상관관계 하나를 발견해 데이터 준설이라는 비판을 받았다."

방대한 변수 탐색 끝에 우연한 상관관계를 발견에 준한 실제 사례를 보여준다.

"대규모 유전체 데이터에서 수만 개의 유전자-질병 조합을 탐색적으로 검토하는 과정은 데이터 준설의 위험이 크므로, 다중비교 보정과 독립적인 검증 코호트를 통한 재확인이 필수적이다."

변수 수가 매우 많은 유전체 연구에서는 우연한 상관관계가 나올 가능성이 특히 커, 통계적 보정과 별도 데이터로 재검증하는 절차가 강조된다는 뜻입니다.

"경제지표 간의 상관관계를 사전 가설 없이 탐색적으로 분석한 결과는 데이터 준설에 해당할 소지가 있어, 후속 연구에서 별도 표본으로 재현되지 않는 한 인과관계로 해석해서는 안 된다."

사회과학 분야에서도 여러 경제지표를 무작위로 대조하다 발견한 관계를 성급히 인과관계로 해석하는 것을 경계해야 한다는 의미입니다.

조금 더 깊게 보면

데이터 준설이 문제가 되는 근본적인 이유는 검정을 반복할수록 우연히 통계적으로 유의미한 결과가 나올 확률이 누적되어 커지기 때문이며, 이를 보정하지 않은 채 유의미한 결과만 골라 보고하면 실제로는 존재하지 않는 관계를 발견한 것처럼 보이게 됩니다. 이런 문제를 줄이기 위해 다중비교 보정, 독립적인 검증 표본을 이용한 재현, 분석 이전에 가설과 분석 계획을 공개하는 사전등록 등이 함께 논의됩니다. 논문을 읽을 때는 검토된 변수나 가설의 개수가 얼마나 많았는지, 그리고 발견된 결과가 별도 데이터로 재현되었는지를 확인하는 것이 중요합니다.

주의할 점

우연히 발견된 상관관계를 마치 검증된 가설처럼 제시하면 사후가설수립으로 이어지기 쉽다.