사후가설수립 (HARKing)
쉽게 풀면
HARKing은 "Hypothesizing After the Results are Known"의 줄임말로, "결과를 알고 난 뒤 가설을 세운다"는 뜻입니다. 예를 들어 로또 번호를 산 다음, 당첨된 번호를 보고 나서 "사실 나는 이 번호들이 나올 줄 알고 있었다"고 주장하는 것과 비슷합니다. 연구에서는 원래 세운 가설이 틀렸는데, 데이터를 이리저리 살펴보다가 우연히 뭔가 그럴듯한 패턴을 발견하면, 그 패턴을 마치 원래부터 예상했던 가설인 것처럼 논문에 다시 써넣는 방식으로 나타납니다. 문제는 이렇게 하면 탐색적으로(우연히) 찾은 결과가 확인적(엄격하게 검증된) 결과인 것처럼 둔갑해, 독자가 그 결과의 신뢰도를 실제보다 훨씬 높게 오해하게 된다는 점입니다.
왜 중요한가
HARKing은 개별 논문 하나의 문제가 아니라, 심리학·의생명과학을 비롯한 여러 분야가 겪고 있는 재현성 위기의 핵심 원인 중 하나로 지목됩니다. 확인적 검증인 것처럼 포장된 결과가 쌓이면 후속 연구자들이 그 결과를 그대로 믿고 재현을 시도했다가 실패하는 일이 반복되고, 학계 전체의 신뢰도가 흔들리게 됩니다. 그래서 HARKing은 피해킹, 의심스러운 연구관행과 함께 연구방법론·메타과학 논문에서 자주 함께 논의되며, 최근에는 저널의 심사 기준이나 사전등록 요구와도 직결되는 실무적 쟁점이 되었습니다.
논문에서는 이렇게 쓰입니다
이 문장은 해당 논문이 데이터 분석 전에 가설을 미리 공개해두지 않아서, 논문에 제시된 가설이 정말 사전에 세운 것인지 아니면 결과를 보고 나서 끼워 맞춘 것인지 독자가 확인할 방법이 없다는 점을 지적하고 있습니다.
이 문장은 여러 연구 결과를 종합하는 메타분석 논문에서, 개별 연구들의 결과 패턴 자체가 HARKing과 같은 관행이 개입했을 수 있다는 정황 증거로 제시되는 경우를 보여줍니다.
이 문장은 신경과학 분야에서, 데이터를 살펴본 뒤 우연히 발견한 뇌 영역을 마치 애초에 검증하려던 대상이었던 것처럼 기술하는 구체적인 HARKing 사례를 보여줍니다.
조금 더 깊게 보면
HARKing은 크게 두 형태로 구분해 볼 수 있습니다. 원래 가설이 기각되자 이를 완전히 숨기고 새 가설로 바꿔치기하는 경우와, 여러 탐색적 분석 중 유의미했던 결과만 골라 마치 유일한 검증 대상이었던 것처럼 제시하는 경우입니다. 이는 흔히 피해킹과 함께 일어나는데, 피해킹이 유의미한 결과가 나올 때까지 분석 방식을 바꾸는 행위라면 HARKing은 그렇게 얻은 결과를 사후에 그럴듯한 이론적 서사로 포장하는 단계에 해당합니다. 논문을 읽을 때는 가설의 구체성과 사전등록 여부, 방법론 절에 기술된 분석 계획과 실제 결과 절의 일치 여부 등을 살펴보면 HARKing 가능성을 어느 정도 가늠할 수 있습니다.
주의할 점
탐색적 분석 자체가 나쁜 것은 아닙니다. 데이터를 탐색하다 새로운 아이디어를 발견하는 것은 정상적인 연구 과정입니다. 문제는 그 발견을 "탐색적으로 찾았다"고 투명하게 밝히지 않고 처음부터 확인하려던 가설이었던 것처럼 포장하는 데 있습니다. 이를 막기 위한 대표적인 장치가 사전등록이며, 결과와 무관하게 출판을 보장하는 등록보고서 제도도 HARKing을 줄이기 위해 도입되었습니다.