타당도 (Validity)
쉽게 풀면
체중계로 몸무게가 아니라 키를 재려고 한다면, 아무리 눈금이 정밀해도 그 측정은 애초에 잘못된 것을 재고 있는 셈입니다. 타당도는 바로 이 "제대로 된 것을 재고 있는가"를 가리킵니다. 예를 들어 우울증을 측정하는 설문지가 실제로는 단순한 스트레스 수준만 재고 있다면, 그 설문지는 타당도가 낮은 것입니다. 연구에서 사용하는 설문지나 검사 도구가 원래 재려고 했던 개념(우울, 만족도, 학습 능력 등)을 실제로 잘 반영하는지를 확인하는 작업이 매우 중요합니다.
왜 중요한가
타당도가 확보되지 않은 도구로 수집한 데이터는 아무리 통계 분석이 정교해도 결론 자체가 흔들리기 때문에, 심리학·교육학·의학을 비롯한 거의 모든 실증연구 논문의 방법론 절에서 측정 도구의 타당도를 검증하거나 인용하는 절차가 필수적으로 요구됩니다. 학술지 심사에서도 측정 도구의 타당도 근거는 연구 결과의 신뢰성을 판단하는 핵심 기준 중 하나로 다뤄집니다.
논문에서는 이렇게 쓰입니다
이 설문 도구가 재려는 개념을 실제로 잘 측정한다는 것이 이전 연구들을 통해 확인되었다는 뜻입니다.
임상심리·정신의학 연구에서는 새로 만든 검사 도구가 이미 타당성이 확립된 기준(전문가 진단 등)과 얼마나 일치하는지를 확인해 타당도를 검증하는 경우가 많다.
교육학·경영학 설문 연구에서는 문항들이 이론적으로 가정한 하위 개념(요인) 구조와 실제로 일치하는지를 통계적으로 검증해 구성타당도를 뒷받침한다.
조금 더 깊게 보면
타당도는 한 번에 증명되는 단일한 성질이 아니라 내용타당도, 구성타당도, 준거타당도 등 여러 하위 유형으로 나뉘어 각기 다른 방식으로 검증됩니다. 내용타당도는 전문가들이 문항이 개념을 잘 대표하는지 판단하는 방식으로, 구성타당도는 요인분석 등 통계 기법으로, 준거타당도는 이미 검증된 다른 척도나 실제 결과와의 상관관계를 통해 확인하는 것이 일반적입니다. 최근 논문에서는 이 여러 근거들을 종합해 하나의 '타당도 논증'으로 제시하는 방식도 점차 쓰이고 있습니다.
주의할 점
타당도가 높다고 해서 항상 신뢰도도 높은 것은 아닙니다. 고장 난 저울이 매번 같은(일관된) 값을 보여준다면 신뢰도는 높지만, 그 값이 실제 몸무게와 다르다면 타당도는 낮은 것입니다. 좋은 측정 도구는 두 가지를 모두 갖춰야 합니다.