존 헨리 효과 (John Henry Effect)

한 줄 정의: 비교집단이 자신이 불리한 조건에 있음을 알고 평소보다 더 노력해 실험 효과가 줄어 보이는 현상입니다.

쉽게 풀면

새 교수법을 실험하는 반과 기존 방식의 반이 있을 때, 기존 방식 반의 교사와 학생이 '우리가 질 수 없다'며 평소보다 훨씬 분발할 수 있습니다. 그러면 두 반의 차이가 작아져 새 교수법이 실제보다 효과가 없는 것처럼 보이는데, 이것을 존 헨리 효과라고 합니다.

왜 중요한가

처치를 숨기기 어려운 교육·조직·사회정책 실험에서 효과를 과소추정하게 만드는 대표적 내적 타당도 위협으로 교재에서 다뤄집니다. 연구 결과가 '효과 없음'으로 나왔을 때 대안적 설명으로 검토해야 할 요인입니다.

논문에서는 이렇게 쓰입니다

"통제집단 교사들이 실험 사실을 인지하고 추가 보충수업을 실시하였을 가능성이 있어, 존 헨리 효과로 인해 처치 효과가 과소추정되었을 수 있다."

비교집단의 분발 때문에 실제 효과가 가려졌을 수 있다는 한계를 밝힌 문장입니다.

조금 더 깊게 보면

이 명칭은 증기 드릴과 겨뤄 이겼지만 곧 숨졌다는 미국 민담 속 철도 노동자 존 헨리에서 따왔으며, Saretsky가 1972년 교육 실험 맥락에서 이름 붙였습니다. Cook과 Campbell의 타당도 분류에서는 보상적 경쟁(compensatory rivalry)으로, 반대로 비교집단이 사기가 꺾여 성과가 떨어지는 현상은 분개적 사기저하(resentful demoralization)로 정리됩니다. 집단 간 접촉을 줄이거나 대기자 통제설계, 군집 무작위배정을 쓰는 것이 대응책입니다.

주의할 점

실험집단이 관찰받는다는 사실로 행동이 바뀌는 호손 효과와 달리, 존 헨리 효과는 비교집단의 반응이라는 점이 핵심 차이입니다. 처치 내용 자체가 비교집단으로 새어 나가는 처치 확산과도 구분해야 합니다.