외적타당도 (External Validity)

한 줄 정의: 한 연구에서 얻은 결과를 그 연구에 참여하지 않은 다른 사람, 다른 장소, 다른 시점에도 적용할 수 있는 정도를 뜻합니다.

쉽게 풀면

대학생 50명을 대상으로 새로운 다이어트 방법의 효과를 실험했더니 효과가 있었다고 해봅시다. 그렇다면 이 결과를 60대 어르신에게도, 혹은 다른 나라 사람들에게도 그대로 적용할 수 있을까요? 외적타당도는 바로 이 질문에 답합니다. "이 실험 안에서는 확실히 효과가 있었다(내적타당도)"는 것과 "이 결과를 다른 상황에도 일반화할 수 있다(외적타당도)"는 것은 서로 다른 문제입니다. 표본이 특정 집단에 치우쳐 있거나, 실험 환경이 지나치게 인위적이면 외적타당도가 낮아집니다.

왜 중요한가

아무리 엄격하게 설계된 연구라도 결과가 특정 표본이나 상황에만 국한된다면 그 실질적 가치는 제한적입니다. 외적타당도는 연구 결과가 정책, 임상 진료, 교육 현장 등 실제 의사결정에 얼마나 안전하게 적용될 수 있는지를 가늠하는 척도이기 때문에, 실험연구부터 임상시험까지 거의 모든 경험적 연구 논문에서 결과의 한계와 적용 범위를 논의할 때 빠지지 않고 등장하는 개념입니다.

논문에서는 이렇게 쓰입니다

"본 연구의 표본이 수도권 소재 대학생으로 한정되어 있어, 연구 결과의 외적타당도(external validity)에는 한계가 있으며 다른 연령대나 지역으로의 일반화에는 주의가 필요하다."

이 문장은 연구 자체는 잘 설계되었더라도, 특정 집단만을 대상으로 했기 때문에 그 결과를 모든 사람에게 그대로 적용하기는 어렵다는 한계를 밝힌 것입니다.

"엄격한 배제기준을 적용한 임상시험 결과를 동반질환이 많은 실제 환자 집단에 그대로 적용하기 어려울 수 있어, 후속 연구에서는 외적타당도를 높이기 위해 실용적 임상시험(pragmatic trial) 설계를 고려하였다."

의학 연구에서 통제된 임상시험 결과와 실제 진료 현장 사이의 간극을 외적타당도 개념으로 짚은 사례다.

"실험실 기반 과제로 측정한 의사결정 행동이 실제 시장 상황에서도 동일하게 나타나는지를 검증하기 위해 현장실험을 추가로 수행하여 외적타당도를 보완하였다."

행동경제학 연구에서 실험실 결과의 현실 적용 가능성을 현장실험으로 보강한 사례다.

조금 더 깊게 보면

외적타당도를 높이는 대표적인 방법으로는 대상 집단을 다양화한 표본 추출, 실험실이 아닌 자연스러운 환경에서 진행하는 현장실험, 서로 다른 시기·지역에서 결과를 반복 확인하는 복제 연구 등이 있습니다. 다만 외적타당도를 높이려는 시도(예: 통제를 느슨하게 하고 현실적인 환경에서 진행)는 종종 인과관계를 명확히 입증하는 내적타당도를 낮추는 방향으로 작용하기 때문에, 연구자는 연구 목적에 따라 두 타당도 사이에서 우선순위를 정해야 합니다.

주의할 점

외적타당도는 "실험 안에서 원인과 결과 관계를 확실히 입증했는가"를 따지는 내적타당도와 자주 트레이드오프 관계에 놓입니다. 통제를 엄격히 할수록 내적타당도는 높아지지만 현실과 동떨어진 환경이 되어 외적타당도는 낮아지기 쉽습니다. 또한 실제 생활 맥락에서도 결과가 재현되는지를 따지는 생태학적 타당도는 외적타당도의 한 하위 측면으로 볼 수 있습니다.