내적타당도 (internal validity)

한 줄 정의: 연구에서 관찰된 결과 변화가 다른 요인이 아니라 정말로 연구자가 조작한 원인 때문에 생긴 것이라고 확신할 수 있는 정도입니다.

쉽게 풀면

다이어트 약을 먹고 살이 빠졌다고 해봅시다. 그런데 같은 기간에 운동도 시작했고, 식단도 바꿨다면 "정말 약 때문에 살이 빠진 걸까?"라고 확신하기 어렵습니다. 내적타당도란 바로 이 확신의 정도를 말합니다. 연구 설계가 다른 원인(운동, 식단, 시간 경과, 측정 오차 등)을 잘 통제해서 "결과는 오직 내가 조작한 원인(약) 때문"이라고 말할 수 있을 때 내적타당도가 높다고 합니다. 반대로 다른 설명이 얼마든지 끼어들 여지가 있다면 내적타당도가 낮은 연구입니다.

왜 중요한가

내적타당도가 낮은 연구는 아무리 정교한 통계기법을 쓰더라도 "원인과 결과"에 대한 결론 자체를 신뢰할 수 없게 만듭니다. 그래서 실험설계, 정책효과 평가, 임상연구처럼 인과관계를 주장하는 논문에서는 연구설계 단계에서부터 내적타당도를 어떻게 확보했는지를 밝히는 것이 논문 심사에서 가장 먼저 검토되는 요소 중 하나로 여겨집니다.

논문에서는 이렇게 쓰입니다

"본 연구는 무작위 배정과 눈가림법을 통해 교란변수의 영향을 최소화함으로써 내적타당도를 확보하고자 하였다."

이 문장은 "실험군과 대조군 사이의 차이가 처치 효과 외의 다른 이유로 생기지 않도록 연구를 설계했다"는 뜻입니다. 무작위 배정이나 통제집단 설정은 대표적인 내적타당도 확보 전략입니다.

"정책 시행 이전과 이후를 단순 비교한 기존 연구들은 시간 경과에 따른 다른 변화(성숙효과, 역사효과)를 통제하지 못해 내적타당도에 한계가 있었으며, 본 연구는 이중차분법을 적용해 이러한 문제를 보완하였다."

실험이 아닌 정책평가 연구에서도 내적타당도가 핵심 쟁점이 되며, 통제집단과의 비교를 통해 다른 설명 요인을 배제하려는 시도가 이뤄진다는 뜻입니다.

조금 더 깊게 보면

내적타당도를 위협하는 요인들은 대체로 유형화되어 논의되는데, 시간이 지나며 참가자가 자연스럽게 변화하는 성숙효과(maturation), 실험 도중 발생한 외부 사건의 영향인 역사효과(history), 반복 측정 자체가 응답에 영향을 주는 검사효과(testing), 극단적인 값이 다음 측정에서 평균으로 돌아가는 평균으로의 회귀(regression to the mean) 등이 대표적입니다. 무작위 배정, 통제집단 설정, 눈가림은 이런 위협 요인들을 실험군과 대조군에 동일하게 작용시켜 결과 비교에서 상쇄되도록 만드는 전략이라 할 수 있습니다.

주의할 점

내적타당도가 높다고 해서 그 결과가 다른 상황이나 다른 사람들에게도 그대로 적용된다는 뜻은 아닙니다. 연구 결과를 일반화할 수 있는 정도는 생태학적 타당도와 함께 흔히 외적타당도라는 별도 기준으로 평가하며, 내적타당도를 높이기 위해 실험실처럼 통제된 환경을 만들수록 오히려 외적타당도는 낮아지는 경우가 많습니다.