피해킹 (p-hacking)
쉽게 풀면
과녁 없는 벽에 다트를 마구 던진 다음, 화살이 몰려 박힌 자리 주변에 나중에 과녁을 그려 넣는 모습을 상상해 보세요. 처음부터 겨냥한 게 아니라 결과를 보고 나서 "여기가 목표였다"고 짜맞춘 것입니다. p-hacking도 비슷합니다. 하나의 데이터셋을 두고 표본을 빼거나 추가하고, 통계 기법을 바꾸고, 여러 변수 조합을 시험해보면서 우연히 p < 0.05가 나오는 조합 하나를 찾아낸 뒤, 그 결과만 논문에 싣는 것입니다. 여러 번 시도하다 보면 실제로는 아무 효과가 없어도 순전히 우연으로 유의한 결과가 하나쯤 나올 확률이 크게 높아지는데, 이 과정을 숨기고 마치 처음부터 그 분석만 계획했던 것처럼 보고하면 문제가 됩니다.
왜 중요한가
p-hacking은 심리학, 의학, 사회과학 등에서 반복적으로 재현되지 않는 연구 결과들의 배경 원인 중 하나로 지목되면서, 이른바 재현성 위기 논의의 핵심 개념이 되었습니다. 논문에서 보고된 유의한 결과가 실제 효과인지 우연히 짜맞춘 결과인지를 판단하는 것은 해당 분야의 지식 축적 자체와 직결되기 때문에, 연구방법론과 메타연구 논문에서 꾸준히 다뤄집니다. 이런 문제의식은 사전등록이나 데이터 공개 같은 연구 투명성 강화 움직임으로 이어지고 있습니다.
논문에서는 이렇게 쓰입니다
이런 서술은 연구자가 결과를 미리 정해두지 않고 여러 분석을 시도하다가 유의한 것 하나만 골라 발표했음을 암시하며, 대표적인 p-hacking 의심 사례로 지적됩니다. 이렇게 얻은 p-value는 실제보다 훨씬 부풀려진 유의성을 보여줄 가능성이 큽니다.
사전에 정한 표본 크기 없이 유의성이 나올 때까지 자료를 계속 수집하는 것도 p-hacking의 한 형태로 지적되는 사례이다.
메타연구에서 여러 지표 중 유의한 것만 골라 보고하는 선택적 보고 관행을 지적한 예문이다.
조금 더 깊게 보면
p-hacking이 일어나는 방식은 다양한데, 표본을 임의로 추가·제외하는 방법, 여러 종속변수나 하위집단을 시험한 뒤 유의한 것만 보고하는 방법, 유의한 결과가 나올 때까지 자료 수집을 이어가는 방법 등이 대표적입니다. 이런 관행이 왜 문제인지는 통계적으로도 설명되는데, 하나의 데이터셋에 여러 번 검정을 반복하면 실제로는 효과가 없어도 우연히 유의한 결과가 나올 확률이 애초에 정해둔 유의수준(보통 5%)보다 훨씬 높아지기 때문입니다. 이를 막기 위한 대표적인 방법으로는 분석 전 가설과 절차를 미리 등록하는 사전등록, 그리고 여러 번 검정할 때 유의수준을 보정하는 다중비교보정이 있습니다.
주의할 점
p-hacking은 데이터를 지어내는 것도, 결과를 거짓으로 바꾸는 것도 아니어서 대놓고 부정행위처럼 보이지 않을 수 있습니다. 그래서 명백한 조작보다 발견하기 어려운 의심스러운 연구관행의 대표적인 예로 꼽힙니다. 이를 막기 위한 가장 확실한 방법은 분석을 시작하기 전에 가설과 분석 계획을 공개 저장소에 미리 등록해두는 사전등록입니다.