외적타당도 위협 (threats to external validity)
쉽게 풀면
어떤 연구 결과가 아무리 내부적으로 엄밀하게 얻어졌어도, 그것이 다른 사람들, 다른 장소, 다른 시대에도 똑같이 적용될지는 또 다른 문제입니다. 외적타당도 위협은 이런 일반화를 가로막는 요인들을 통틀어 부르는 말로, 특이한 표본 특성, 실험 상황 자체의 특수성(예: 실험이라는 것을 안다는 사실), 특정 시대적 배경 등이 포함됩니다. 연구자는 자신의 결과가 어디까지 일반화될 수 있는지 신중하게 논의해야 합니다.
왜 중요한가
연구 결과가 얼마나 폭넓게 적용될 수 있는지를 판단하지 못하면, 정책 결정이나 실무 적용에 그 결과를 근거로 활용하기 어렵습니다. 외적타당도 위협을 구체적으로 짚어내는 것은 심리학, 교육학, 보건학 등 실험·조사 연구 전반에서 연구의 한계를 정직하게 밝히고, 후속 연구가 어떤 조건에서 결과를 재검증해야 하는지를 제시하는 역할을 합니다.
논문에서는 이렇게 쓰입니다
연구 결과의 일반화 가능성에 대한 한계를 논의하는 문장이다.
실험 상황 자체가 참가자의 행동을 바꿀 수 있다는 점을 지적하는 사회심리학 연구의 한계 논의다.
연구가 수행된 특정 시기의 사회적·경제적 맥락이 결과의 일반화 가능성을 제한할 수 있음을 밝히는 사례다.
조금 더 깊게 보면
외적타당도 위협은 흔히 대상(who), 환경(where), 시점(when)의 세 축으로 구분해 생각할 수 있습니다. 표본의 특성이 모집단을 대표하지 못하는 표본 특이성, 실험실이라는 인위적 환경 자체가 결과에 영향을 주는 상황 특이성, 특정 시대적 사건이나 유행에 결과가 영향받는 역사 특이성이 대표적입니다. 논문에서는 이런 위협을 완화하기 위해 다양한 표본이나 여러 환경에서 결과를 반복 검증하는 복제 연구(replication), 또는 여러 연구 결과를 통합해 일반화 가능성을 높이는 메타분석을 함께 활용하는 경우가 많습니다.
주의할 점
외적타당도는 내적타당도와 종종 상충 관계에 있으므로, 어느 한쪽만을 극대화하기보다 연구 목적에 맞게 균형을 잡아야 한다.