외적타당도 (External Validity)
쉽게 풀면
대학생 50명을 대상으로 새로운 다이어트 방법의 효과를 실험했더니 효과가 있었다고 해봅시다. 그렇다면 이 결과를 60대 어르신에게도, 혹은 다른 나라 사람들에게도 그대로 적용할 수 있을까요? 외적타당도는 바로 이 질문에 답합니다.
"이 실험 안에서는 확실히 효과가 있었다(내적타당도)"는 것과 "이 결과를 다른 상황에도 일반화할 수 있다(외적타당도)"는 것은 서로 다른 문제입니다. 표본이 특정 집단에 치우쳐 있거나, 실험 환경이 지나치게 인위적이면 외적타당도가 낮아집니다.
왜 중요한가
아무리 엄격하게 설계된 연구라도 결과가 특정 표본이나 상황에만 국한된다면 그 실질적 가치는 제한적입니다. 외적타당도는 연구 결과가 정책, 임상 진료, 교육 현장 등 실제 의사결정에 얼마나 안전하게 적용될 수 있는지를 가늠하는 척도이기 때문에, 실험연구부터 임상시험까지 거의 모든 경험적 연구 논문에서 결과의 한계와 적용 범위를 논의할 때 빠지지 않고 등장하는 개념입니다.
핵심 정리
- 외적타당도는 연구에서 확인한 인과관계가 다른 사람, 장소, 시점, 처치 방식, 결과 측정 방식에서도 유지되는지를 따지는 것입니다. Campbell(1957)이 내적타당도와 함께 구분했고, Shadish, Cook, Campbell(2002)은 이를 사람·장소·처치·결과의 변이 전반에 걸친 인과관계의 일반화로 설명합니다.
- 두 가지 일반화를 구분하면 편합니다. 하나는 표본에서 모집단으로의 통계적 일반화(대표성, 표집 방법의 문제)이고, 다른 하나는 한 맥락에서 다른 맥락으로의 인과적 전이(맥락이 달라도 같은 효과가 나는가의 문제)입니다.
- Cook과 Campbell(1979)이 정리한 대표적 위협은 선택과 처치의 상호작용(특정 유형의 사람에게만 효과), 장소와 처치의 상호작용(그 환경에서만 효과), 시점과 처치의 상호작용(그 시기에만 효과)입니다.
- 외적타당도는 “있다/없다”가 아니라 어떤 범위까지 일반화할 수 있는지의 문제이며, 판단 근거는 연구 대상·조건의 설명, 효과가 달라지는 하위집단의 분석, 다른 맥락에서의 반복 연구입니다.
예시로 보기
가상의 연구입니다. 대학병원 외래에서 모집한 경도 우울 성인 60명에게 8주 운동 프로그램을 제공하고 우울 점수가 낮아졌다고 합시다. 이 결과를 다른 곳에 적용해도 되는지 물어볼 항목은 다음과 같습니다.
| 적용하려는 곳 | 확인할 질문 |
|---|---|
| 다른 사람(노인, 중증 우울, 청소년) | 연구 대상이 어떤 기준으로 선정되었나? 제외된 사람은 누구인가? 하위집단별 효과가 달랐나? |
| 다른 장소(지역 보건소, 지방, 다른 나라) | 운동 지도자, 시설, 문화적 환경이 효과에 필요한 조건이었나? |
| 다른 시점(수년 뒤, 팬데믹 이후) | 시대 변화가 효과를 좌우하는 요인(생활 패턴, 진료 환경)과 관련되나? |
| 다른 처치 방식(온라인 지도, 주 2회로 축소) | 효과를 낸 핵심 구성요소가 무엇이고 변형해도 유지되나? |
| 다른 결과 측정(자기보고 대신 임상가 평가) | 다른 방법으로 잰 결과도 같은 방향인가? |
이 질문에 근거를 갖고 답할 수 있는 만큼이 외적타당도입니다. 한 연구만으로 모든 질문에 답하기는 어렵고, 여러 연구에 걸쳐 쌓입니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 표본이 크면 외적타당도가 높다. | 표본이 커도 같은 지역·같은 유형의 사람만 모았다면 다른 맥락으로의 일반화는 약합니다. 크기보다 다양성과 대표성이 중요합니다. |
| 무작위 배정을 하면 외적타당도가 확보된다. | 무작위 배정은 집단 간 비교의 공정성, 즉 내적타당도를 높입니다. 외적타당도는 누가 연구에 들어왔는가와 연구가 이뤄진 조건에 달려 있습니다. |
| 무작위 표집을 하면 외적타당도 문제가 없다. | 무작위 표집은 표본에서 그 모집단으로의 일반화를 뒷받침하지만, 다른 장소·시점·처치 방식으로의 전이는 별도 문제입니다. |
| 외적타당도가 낮은 연구는 쓸모없다. | 목적이 인과 기전의 확인이라면 통제된 조건이 의도적일 수 있습니다. 어디까지 적용 가능한지를 밝히고 한계를 쓰는 것이 중요합니다. |
| 내적타당도와 외적타당도는 둘 다 최대화할 수 있다. | 엄격한 통제는 내적타당도를 높이지만 현실과의 거리를 키우는 경우가 많아, 둘 사이에서 연구 목적에 맞게 균형을 잡습니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“또한 외적 타당성은 기존 이론에서 예상된 경험적 발견의 통계적 일반화가능성을 추구하기보다는, 예상하지 못한 발견을 새롭게 이론화하여 다른 사례를 타당하게 해석할 가능성을 높이는 방식으로 확보될 수 있다고 주장되었다.”
질적 연구는 어떻게 사회과학적 가치를 확보하는가?: 신뢰성과 외적 타당성 논쟁의 결과와 함의, 한국사회학, 2025 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 연구 자체는 잘 설계되었더라도, 특정 집단만을 대상으로 했기 때문에 그 결과를 모든 사람에게 그대로 적용하기는 어렵다는 한계를 밝힌 것입니다.
의학 연구에서 통제된 임상시험 결과와 실제 진료 현장 사이의 간극을 외적타당도 개념으로 짚은 사례다.
행동경제학 연구에서 실험실 결과의 현실 적용 가능성을 현장실험으로 보강한 사례다.
조금 더 깊게 보면
외적타당도를 높이는 대표적인 방법으로는 대상 집단을 다양화한 표본 추출, 실험실이 아닌 자연스러운 환경에서 진행하는 현장실험, 서로 다른 시기·지역에서 결과를 반복 확인하는 복제 연구 등이 있습니다. 다만 외적타당도를 높이려는 시도(예: 통제를 느슨하게 하고 현실적인 환경에서 진행)는 종종 인과관계를 명확히 입증하는 내적타당도를 낮추는 방향으로 작용하기 때문에, 연구자는 연구 목적에 따라 두 타당도 사이에서 우선순위를 정해야 합니다.
주의할 점
외적타당도는 "실험 안에서 원인과 결과 관계를 확실히 입증했는가"를 따지는 내적타당도와 자주 트레이드오프 관계에 놓입니다. 통제를 엄격히 할수록 내적타당도는 높아지지만 현실과 동떨어진 환경이 되어 외적타당도는 낮아지기 쉽습니다. 또한 실제 생활 맥락에서도 결과가 재현되는지를 따지는 생태학적 타당도는 외적타당도의 한 하위 측면으로 볼 수 있습니다.
헷갈리기 쉬운 용어
타당도 용어들은 이름은 비슷하지만 묻는 질문이 다릅니다.
| 용어 | 묻는 질문 | 핵심 대상 |
|---|---|---|
| 내적타당도 | 이 연구 안에서 원인과 결과의 관계가 맞는가 | 연구 안의 비교 |
| 외적타당도 | 이 결과를 다른 사람·장소·시점에 적용할 수 있는가 | 연구 밖으로의 일반화 |
| 모집단 타당도 | 표본의 결과를 대상 모집단에 일반화할 수 있는가 | 외적타당도의 한 측면(사람) |
| 생태학적 타당도 | 연구 조건이 실제 생활 조건과 얼마나 비슷한가 | 외적타당도의 한 측면(환경) |
| 통계적 결론 타당도 | 통계 분석에서 원인과 결과가 함께 변한다는 판단이 올바른가 | 통계 분석의 적절성 |
참고 문헌
- Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297–312.
- Cook, T. D., & Campbell, D. T. (1979). Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Mifflin.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
- Rothwell, P. M. (2005). External validity of randomised controlled trials: “To whom do the results of this trial apply?” The Lancet, 365(9453), 82–93.
- Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2–3), 61–83.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.