실험자 기대효과 (Experimenter Expectancy Effect)

한 줄 정의: 연구자가 특정 결과를 기대하면 그 기대가 실험 진행이나 결과 해석에 무의식적으로 영향을 미쳐, 기대한 방향으로 결과가 왜곡되는 현상입니다.

쉽게 풀면

선생님이 "이 반은 똑똑한 학생들만 모아놨어요"라는 말을 들으면, 실제로는 무작위로 반이 편성됐어도 그 선생님은 학생들에게 더 많은 기대와 관심을 쏟게 되고, 학생들 성적도 실제로 오르는 경향이 있습니다. 실험에서도 마찬가지입니다. 연구자가 "이 처치가 효과 있을 것"이라고 기대하면, 참가자에게 무의식적으로 힌트를 주거나(말투, 표정, 격려의 강도), 애매한 결과를 자기도 모르게 기대에 맞게 해석하는 일이 생깁니다. 이렇게 연구자의 기대 자체가 실험 결과를 오염시키는 현상을 실험자 기대효과라고 하며, 로버트 로젠탈의 연구에서 유래해 '로젠탈 효과'라고도 부릅니다.

왜 중요한가

실험자 기대효과는 연구 결과의 타당성을 위협하는 대표적인 편향 요인이기 때문에, 이를 인식하고 통제했는지 여부가 논문의 방법론적 엄밀성을 판단하는 중요한 기준이 됩니다. 특히 동물실험, 임상시험, 교육 개입 연구처럼 연구자가 직접 처치를 가하거나 결과를 평가하는 분야에서는 이 효과가 결과를 크게 왜곡할 수 있어 반드시 언급됩니다. 그래서 많은 학술지가 논문 심사 시 맹검 절차의 유무를 확인합니다.

논문에서는 이렇게 쓰입니다

"평가자의 실험자 기대효과를 통제하기 위해, 결과를 측정하는 연구자는 각 참가자의 집단 배정 정보를 알지 못하도록 하였다."

이 문장은 연구자가 참가자의 소속 집단을 알면 결과 평가에 은연중 영향을 줄 수 있으므로, 이를 막기 위해 평가자에게도 배정 정보를 감췄다는 뜻입니다.

"동물행동 실험에서 실험자 기대효과를 배제하기 위해 처치 조건을 모르는 별도의 관찰자가 행동 채점을 수행하였다."

동물행동학 연구에서는 처치를 가한 연구자와 행동을 채점하는 관찰자를 분리해 기대효과가 채점 결과에 스며들지 않도록 합니다.

"교사가 사전에 특정 학생 집단의 성취 수준을 높게 기대하도록 안내받은 조건에서, 해당 집단의 실제 성적 향상이 통계적으로 유의하게 더 높았다."

교육심리학 연구에서는 교사의 기대가 학생 성취에 미치는 영향을 다룰 때 이 개념을 피그말리온 효과와 연결지어 설명하곤 합니다.

조금 더 깊게 보면

실험자 기대효과는 참가자 쪽에서 발생하는 요구특성(demand characteristics)이나 위약효과와 함께 다뤄지는 경우가 많은데, 전자는 연구자가, 후자는 참가자가 실험의 목적을 짐작하고 그에 맞춰 반응이 달라진다는 점에서 방향이 다릅니다. 이를 막는 대표적인 설계 장치가 연구자와 참가자 모두 집단 배정을 모르게 하는 이중맹검이며, 완전한 맹검이 어려운 경우에는 결과 채점자만이라도 배정 정보를 모르게 하는 평가자 맹검(rater blinding)을 적용하기도 합니다.

주의할 점

실험자 기대효과는 연구자가 의도적으로 결과를 조작하는 것이 아니라, 대부분 본인도 인식하지 못하는 사이에 일어난다는 점이 중요합니다. 그래서 연구자의 선의나 정직성과는 무관하게, 단일맹검이나 이중맹검 같은 설계적 장치로 미리 막아야 합니다.