내적타당도 (internal validity)
쉽게 풀면
다이어트 약을 먹고 살이 빠졌다고 해봅시다. 그런데 같은 기간에 운동도 시작했고, 식단도 바꿨다면 "정말 약 때문에 살이 빠진 걸까?"라고 확신하기 어렵습니다. 내적타당도란 바로 이 확신의 정도를 말합니다.
연구 설계가 다른 원인(운동, 식단, 시간 경과, 측정 오차 등)을 잘 통제해서 "결과는 오직 내가 조작한 원인(약) 때문"이라고 말할 수 있을 때 내적타당도가 높다고 합니다. 반대로 다른 설명이 얼마든지 끼어들 여지가 있다면 내적타당도가 낮은 연구입니다.
왜 중요한가
내적타당도가 낮은 연구는 아무리 정교한 통계기법을 쓰더라도 "원인과 결과"에 대한 결론 자체를 신뢰할 수 없게 만듭니다. 그래서 실험설계, 정책효과 평가, 임상연구처럼 인과관계를 주장하는 논문에서는 연구설계 단계에서부터 내적타당도를 어떻게 확보했는지를 밝히는 것이 논문 심사에서 가장 먼저 검토되는 요소 중 하나로 여겨집니다.
핵심 정리
- 내적타당도는 연구 안에서 “처치(원인)가 결과를 바꾸었다”는 주장이 다른 설명을 배제하고 얼마나 믿을 만한지를 말합니다. Campbell(1957)이 외적타당도와 함께 구분했고, 인과 주장을 하는 연구(실험, 준실험, 인과 추론을 하는 관찰연구)에 해당합니다. 순수한 기술 연구에는 쓰지 않습니다.
- Campbell과 Stanley(1963)는 단순한 설계가 놓치기 쉬운 위협으로 역사, 성숙, 검사, 도구 변화, 통계적 회귀, 선택, 탈락, 선택과 성숙의 상호작용을 들었습니다. Shadish, Cook, Campbell(2002)은 여기에 원인-결과의 시간 순서가 모호한 경우를 포함해 정리했습니다.
| 위협 | 어떤 문제인가 | 흔한 대응 |
|---|---|---|
| 역사 | 연구 기간 중 일어난 외부 사건이 결과를 바꿈 | 동시 대조군 |
| 성숙 | 시간이 지나며 대상이 저절로 변함 | 대조군 |
| 검사 | 사전검사를 해본 경험이 사후검사에 영향을 줌 | 사전검사 없는 대조군(솔로몬 4집단) |
| 도구 변화 | 측정 도구나 평가 기준이 바뀜 | 동일 도구, 평가자 훈련 |
| 통계적 회귀 | 극단적인 값은 다시 측정하면 평균에 가까워짐 | 극단값만 골라 처치하지 않기, 대조군 |
| 선택 | 처음부터 집단이 다름 | 무작위 배정, 짝짓기 |
| 탈락 | 집단 사이에 서로 다른 사람이 빠짐 | 탈락 최소화, ITT 분석 |
예시로 보기
가상의 예입니다. 직장인 40명에게 8주 스트레스 관리 프로그램을 제공하고 전후로 스트레스 점수를 쟀더니 평균 60점에서 52점으로 내려갔습니다. 대조군은 없습니다.
| 의심할 수 있는 다른 설명 | 해당 위협 |
|---|---|
| 회사가 같은 시기에 근무 시간을 줄였다. | 역사 |
| 8주가 지나는 동안 참여자들이 업무에 익숙해져 스트레스가 저절로 줄었다. | 성숙(시간 경과) |
| 스트레스가 심한 사람이 참여를 신청했고, 그런 사람은 다시 쟀을 때 덜 심해 보인다. | 통계적 회귀 |
| 사전검사를 해 본 경험 때문에 응답이 달라졌다. | 검사 |
이 가운데 어느 것도 배제할 수 없다면 “프로그램 덕분에 8점 내려갔다”는 주장은 내적타당도가 낮습니다. 같은 기간의 대조군을 무작위로 두면 위 다른 설명들이 두 집단에 비슷하게 작용하므로 집단 차이를 처치의 효과로 읽을 수 있게 됩니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 무작위대조시험이면 내적타당도가 항상 높다. | 무작위 배정이 선택 위협을 줄일 뿐, 눈가림 없음, 큰 탈락, 배정 은닉 실패, 결과 선택 보고 같은 문제는 남을 수 있습니다. |
| 내적타당도는 연구 전체의 질이다. | 인과 주장에 대한 신뢰만 뜻합니다. 대표성, 측정의 질, 통계 분석의 적절성은 다른 타당도에서 다룹니다. |
| 내적타당도가 높으면 결과를 어디에나 적용할 수 있다. | 엄격한 통제로 내적타당도가 높아져도 현실과 거리가 있어 외적타당도가 낮을 수 있습니다. |
| 내적타당도와 내적 일관성(Cronbach의 α)은 같다. | 내적 일관성은 문항들이 일관되게 같은 것을 재는가를 보는 신뢰도 지표이고, 내적타당도는 인과 추론의 신뢰입니다. |
| 통계 분석으로 설계의 문제를 해결할 수 있다. | 공변량 보정은 측정된 차이만 줄입니다. 설계 단계의 무작위 배정, 대조군, 눈가림이 기본입니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "실험군과 대조군 사이의 차이가 처치 효과 외의 다른 이유로 생기지 않도록 연구를 설계했다"는 뜻입니다. 무작위 배정이나 통제집단 설정은 대표적인 내적타당도 확보 전략입니다.
실험이 아닌 정책평가 연구에서도 내적타당도가 핵심 쟁점이 되며, 통제집단과의 비교를 통해 다른 설명 요인을 배제하려는 시도가 이뤄진다는 뜻입니다.
조금 더 깊게 보면
내적타당도를 위협하는 요인들은 대체로 유형화되어 논의되는데, 시간이 지나며 참가자가 자연스럽게 변화하는 성숙효과(maturation), 실험 도중 발생한 외부 사건의 영향인 역사효과(history), 반복 측정 자체가 응답에 영향을 주는 검사효과(testing), 극단적인 값이 다음 측정에서 평균으로 돌아가는 평균으로의 회귀(regression to the mean) 등이 대표적입니다. 무작위 배정, 통제집단 설정, 눈가림은 이런 위협 요인들을 실험군과 대조군에 동일하게 작용시켜 결과 비교에서 상쇄되도록 만드는 전략이라 할 수 있습니다.
주의할 점
내적타당도가 높다고 해서 그 결과가 다른 상황이나 다른 사람들에게도 그대로 적용된다는 뜻은 아닙니다. 연구 결과를 일반화할 수 있는 정도는 생태학적 타당도와 함께 흔히 외적타당도라는 별도 기준으로 평가하며, 내적타당도를 높이기 위해 실험실처럼 통제된 환경을 만들수록 오히려 외적타당도는 낮아지는 경우가 많습니다.
헷갈리기 쉬운 용어
‘타당도’와 ‘내적’이 들어간 용어는 다른 질문을 합니다.
| 용어 | 묻는 질문 | 대표 지표·절차 |
|---|---|---|
| 내적타당도 | 원인이 결과를 바꿨다고 말할 수 있는가 | 무작위 배정, 대조군, 눈가림 |
| 외적타당도 | 다른 사람·장소·시점에도 적용되는가 | 표본 다양성, 반복 연구 |
| 구성타당도 | 측정이나 처치가 의도한 개념을 반영하는가 | 수렴·판별 증거 |
| 통계적 결론 타당도 | 통계 검정이 연관성을 올바르게 판단했는가 | 검정력, 가정 점검 |
| 내적 일관성 신뢰도 | 문항들이 일관되게 같은 것을 재는가 | Cronbach의 α |
참고 문헌
- Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297–312.
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.