사후가설수립 (HARKing)
쉽게 풀면
HARKing은 "Hypothesizing After the Results are Known"의 줄임말로, "결과를 알고 난 뒤 가설을 세운다"는 뜻입니다. 예를 들어 로또 번호를 산 다음, 당첨된 번호를 보고 나서 "사실 나는 이 번호들이 나올 줄 알고 있었다"고 주장하는 것과 비슷합니다.
연구에서는 원래 세운 가설이 틀렸는데, 데이터를 이리저리 살펴보다가 우연히 뭔가 그럴듯한 패턴을 발견하면, 그 패턴을 마치 원래부터 예상했던 가설인 것처럼 논문에 다시 써넣는 방식으로 나타납니다.
문제는 이렇게 하면 탐색적으로(우연히) 찾은 결과가 확인적(엄격하게 검증된) 결과인 것처럼 둔갑해, 독자가 그 결과의 신뢰도를 실제보다 훨씬 높게 오해하게 된다는 점입니다.
왜 중요한가
HARKing은 개별 논문 하나의 문제가 아니라, 심리학·의생명과학을 비롯한 여러 분야가 겪고 있는 재현성 위기의 핵심 원인 중 하나로 지목됩니다. 확인적 검증인 것처럼 포장된 결과가 쌓이면 후속 연구자들이 그 결과를 그대로 믿고 재현을 시도했다가 실패하는 일이 반복되고, 학계 전체의 신뢰도가 흔들리게 됩니다.
그래서 HARKing은 p-해킹, 의심스러운 연구관행과 함께 연구방법론·메타과학 논문에서 자주 함께 논의되며, 최근에는 저널의 심사 기준이나 사전등록 요구와도 직결되는 실무적 쟁점이 되었습니다.
핵심 정리
- HARKing(Hypothesizing After the Results are Known)은 Kerr(1998)가 붙인 이름으로, 결과를 알고 난 뒤에 세운 가설을 사전에 세운 가설처럼 서술하는 것입니다.
- 문제는 사후 가설을 세운다는 사실이 아니라 그것을 숨기는 것입니다. 자료를 보고 새 가설을 떠올리는 일은 탐색 연구에서 정상이며, “사후 탐색 결과”라고 밝히면 HARKing이 아닙니다.
- 숨기면 독자는 그 가설이 자료와 독립적으로 검증된 것으로 오해합니다. 가설검정의 p값은 “분석 전에 정한 가설”을 전제로 하므로, 결과를 본 뒤 고른 가설의 p값은 해석 근거가 약해집니다.
- 후속 문헌에서는 사후 가설을 서론에 사전 가설인 것처럼 몰래 넣는 경우(SHARKing)와 사후 가설임을 논의에서 투명하게 밝히는 경우(THARKing)를 나누어 논합니다(Hollenbeck & Wright, 2017).
- 해법으로 사전 등록, 투고 전 가설 확정, 탐색·확증 분석의 구분 표시 등이 제안됩니다(Munafò 외, 2017).
예시로 보기
한 연구가 독립변수 1개와 서로 무관한 결과변수 20개를 측정했다고 가정합니다(가상의 예). 실제로는 어느 것에도 효과가 없고 각 검정의 유의수준이 .05라면, 적어도 하나가 p < .05로 나올 확률은 1 − 0.9520 = 64.2%입니다(검정이 서로 독립이라고 가정).
| 단계 | HARKing이 아닌 경우 | HARKing인 경우 |
|---|---|---|
| 분석 후 | 유의하게 나온 변수 하나를 보고 새 가설을 떠올림 | 같음 |
| 논문 서술 | “이 관계는 탐색 분석에서 발견되었으며 새 표본에서 검증이 필요하다” | 서론에 “우리는 이 변수에서 효과가 있을 것으로 예측했다”라고 씀 |
| 독자의 인상 | 탐색적 단서 | 확증된 가설 |
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 자료를 본 뒤 가설을 세우면 무조건 부정행위다. | 탐색적 연구에서 사후 가설은 정상적인 과학 활동입니다. 사전 가설인 것처럼 서술하는 것이 문제입니다. |
| HARKing은 p-해킹과 같다. | p-해킹은 유의한 p를 얻을 때까지 분석 선택을 바꾸는 것이고, HARKing은 얻어진 결과에 맞춰 가설 서술을 바꾸는 것입니다. 함께 일어나는 경우가 많지만 서로 다른 행위입니다. |
| 가설이 틀린 연구는 숨겨도 된다. | 기각된 가설을 빼는 것도 의심스러운 연구 관행이며 출판 편향을 키웁니다. |
| 사전 등록하면 탐색 분석을 할 수 없다. | 등록한 계획과 별도로 탐색 분석을 하고 “탐색적”이라고 표시하면 됩니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 해당 논문이 데이터 분석 전에 가설을 미리 공개해두지 않아서, 논문에 제시된 가설이 정말 사전에 세운 것인지 아니면 결과를 보고 나서 끼워 맞춘 것인지 독자가 확인할 방법이 없다는 점을 지적하고 있습니다.
이 문장은 여러 연구 결과를 종합하는 메타분석 논문에서, 개별 연구들의 결과 패턴 자체가 HARKing과 같은 관행이 개입했을 수 있다는 정황 증거로 제시되는 경우를 보여줍니다.
이 문장은 신경과학 분야에서, 데이터를 살펴본 뒤 우연히 발견한 뇌 영역을 마치 애초에 검증하려던 대상이었던 것처럼 기술하는 구체적인 HARKing 사례를 보여줍니다.
조금 더 깊게 보면
HARKing은 크게 두 형태로 구분해 볼 수 있습니다. 원래 가설이 기각되자 이를 완전히 숨기고 새 가설로 바꿔치기하는 경우와, 여러 탐색적 분석 중 유의미했던 결과만 골라 마치 유일한 검증 대상이었던 것처럼 제시하는 경우입니다.
이는 흔히 p-해킹과 함께 일어나는데, p-해킹이 유의미한 결과가 나올 때까지 분석 방식을 바꾸는 행위라면 HARKing은 그렇게 얻은 결과를 사후에 그럴듯한 이론적 서사로 포장하는 단계에 해당합니다.
논문을 읽을 때는 가설의 구체성과 사전등록 여부, 방법론 절에 기술된 분석 계획과 실제 결과 절의 일치 여부 등을 살펴보면 HARKing 가능성을 어느 정도 가늠할 수 있습니다.
주의할 점
탐색적 분석 자체가 나쁜 것은 아닙니다. 데이터를 탐색하다 새로운 아이디어를 발견하는 것은 정상적인 연구 과정입니다. 문제는 그 발견을 "탐색적으로 찾았다"고 투명하게 밝히지 않고 처음부터 확인하려던 가설이었던 것처럼 포장하는 데 있습니다. 이를 막기 위한 대표적인 장치가 사전등록이며, 결과와 무관하게 출판을 보장하는 등록보고서 제도도 HARKing을 줄이기 위해 도입되었습니다.
헷갈리기 쉬운 용어
| 용어 | 핵심 | 무엇을 바꾸나 |
|---|---|---|
| HARKing | 결과를 안 뒤 세운 가설을 사전 가설처럼 서술 | 가설의 서술(시점) |
| p-해킹 | 유의한 결과가 나올 때까지 분석 방식을 바꿈 | 분석 선택 |
| 탐색적 분석 | 자료에서 패턴을 찾는 분석. 밝히고 하면 정당함 | — |
| 사전 등록 | 가설·분석 계획을 자료 분석 전에 공개 등록 | HARKing과 p-해킹을 줄이는 장치 |
참고 문헌
- Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217.
- John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532.
- Munafò, M. R., Nosek, B. A., Bishop, D. V. M., et al. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021.
- Hollenbeck, J. R., & Wright, P. M. (2017). Harking, sharking, and tharking: Making the case for post hoc analysis of scientific data. Journal of Management, 43(1), 5–18.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.