타당도 (Validity)
쉽게 풀면
체중계로 몸무게가 아니라 키를 재려고 한다면, 아무리 눈금이 정밀해도 그 측정은 애초에 잘못된 것을 재고 있는 셈입니다. 타당도는 바로 이 "제대로 된 것을 재고 있는가"를 가리킵니다. 예를 들어 우울증을 측정하는 설문지가 실제로는 단순한 스트레스 수준만 재고 있다면, 그 설문지는 타당도가 낮은 것입니다.
연구에서 사용하는 설문지나 검사 도구가 원래 재려고 했던 개념(우울, 만족도, 학습 능력 등)을 실제로 잘 반영하는지를 확인하는 작업이 매우 중요합니다.
왜 중요한가
타당도가 확보되지 않은 도구로 수집한 데이터는 아무리 통계 분석이 정교해도 결론 자체가 흔들리기 때문에, 심리학·교육학·의학을 비롯한 거의 모든 실증연구 논문의 방법론 절에서 측정 도구의 타당도를 검증하거나 인용하는 절차가 필수적으로 요구됩니다. 학술지 심사에서도 측정 도구의 타당도 근거는 연구 결과의 신뢰성을 판단하는 핵심 기준 중 하나로 다뤄집니다.
핵심 정리
- 현재의 기준에서 타당도는 도구에 붙은 성질이 아니라 점수의 해석과 사용이 얼마나 근거 있게 뒷받침되는가의 정도입니다(Messick, 1995; AERA/APA/NCME, 2014). “이 척도는 타당하다”보다 “이 집단에서 이 목적으로 쓰는 점수 해석은 이런 근거가 있다”가 정확한 표현입니다.
- 『교육 및 심리검사 표준』(2014)은 근거의 원천을 다섯 가지로 나눕니다: 검사 내용, 응답 과정, 내적 구조, 다른 변수와의 관계, 검사 사용의 결과.
- 예전 분류인 내용·준거·구성타당도는 이 근거들을 묶는 방식의 하나로 남아 있습니다.
- Kane(2013)은 해석·사용에 대한 주장을 세우고 근거로 하나씩 검증하는 논증 기반 접근을 제안했습니다.
예시로 보기
신뢰도는 타당도의 상한을 정합니다. 두 측정의 상관은 각각의 신뢰도가 만드는 한계를 넘지 못합니다: rxy ≤ √(rxx × ryy).
(가상의 예) 어떤 척도의 신뢰도가 .64이고 기준 변수의 신뢰도가 .81이라면, 둘 사이의 상관은 아무리 높아도 √(.64 × .81) = .72를 넘을 수 없습니다(코드로 계산). 관측된 상관이 .50이라면 이 한계 내에서 낮게 나온 것이므로, 신뢰도가 낮은 도구로 타당도를 판단하면 실제보다 낮게 평가될 수 있습니다.
반대로 신뢰도가 높아도 타당도는 보장되지 않습니다. 체중계가 매번 같은 값을 보여도, 그 값이 몸무게가 아니라 몸의 다른 특성을 반영한다면 타당하지 않습니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 타당한 척도라는 인증이 있다. | 타당도는 대상·목적별 근거의 양과 질의 문제입니다. 다른 집단에는 근거를 다시 확인해야 합니다. |
| 타당도는 종류별로 하나씩만 확인하면 된다. | 현재 표준은 여러 원천의 근거를 종합하도록 권합니다. |
| 신뢰도가 높으면 타당도도 높다. | 필요조건일 뿐입니다. 신뢰도는 일관성, 타당도는 해석의 적절성입니다. |
| 측정 타당도와 연구의 내적 타당도·외적 타당도는 같은 것이다. | 앞의 것은 측정 점수의 해석, 뒤의 것은 연구 설계의 인과 추론과 일반화에 관한 개념입니다. |
| 타당도는 도구의 고정된 속성이다. | 현재 표준은 타당도를 도구가 아니라 점수 해석·사용에 대한 근거의 정도로 봅니다. 다만 Borsboom 등(2004)처럼 타당도를 검사의 속성(재려는 속성이 실제로 점수 변동을 일으키는가)으로 보는 시각도 있어 정의 자체가 논쟁 중입니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“내적 속박감 및 외적 속박감은 자기비난, 내면화된 수치감, 우울, 정적 정서, 부적정서, 삶의 만족도 및 자살사고와 유의한 상관이 나타나, 수렴 및 공존 타당도가 검증되었다.”
한국판 내적 속박감 및 외적 속박감 척도의 신뢰도와 타당도 연구, 한국심리학회지:일반, 2012 · KCI 한국학술지인용색인 · 원문 보기 ↗
“이에 본 연구는 고객 충성도를 높일 수 있는 관계마케팅 차원의 뮤지컬 마케팅 활동으로 ‘작품 요인’과 ‘작품 외 요인’을 재정립하고, 측정도구로서의 타당도 여부를 검증하였다.”
공연예술의 작품 요인과 작품 외 요인의 타당성과 구매 후 행동에 미치는 영향 연구 -뮤지컬을 중심으로, 예술경영연구, 2011 · KCI 한국학술지인용색인 · 원문 보기 ↗
“LJP-RRAR은 위험성(risk)에 상응하는 차별적 지도감독과, 욕구(need)에 기초한 전문적 처우에 유용한 평가도구로 사용될 수 있으며, 타당화를 위한 추후연구와 동적 요인 및 보호요인을 고려한 후속연구를 통해 예측정확도와 타당도가 높아질 수 있을 것으로 기대된다.”
청소년 절도사범 재범 예측 요인: 절도 소년보호관찰대상자 재범위험성 평가도구(LJP-RRAR) 개발 연구, 한국심리학회지:일반, 2009 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 설문 도구가 재려는 개념을 실제로 잘 측정한다는 것이 이전 연구들을 통해 확인되었다는 뜻입니다.
임상심리·정신의학 연구에서는 새로 만든 검사 도구가 이미 타당성이 확립된 기준(전문가 진단 등)과 얼마나 일치하는지를 확인해 타당도를 검증하는 경우가 많다.
교육학·경영학 설문 연구에서는 문항들이 이론적으로 가정한 하위 개념(요인) 구조와 실제로 일치하는지를 통계적으로 검증해 구성타당도를 뒷받침한다.
조금 더 깊게 보면
타당도는 한 번에 증명되는 단일한 성질이 아니라 내용타당도, 구성타당도, 준거타당도 등 여러 하위 유형으로 나뉘어 각기 다른 방식으로 검증됩니다.
내용타당도는 전문가들이 문항이 개념을 잘 대표하는지 판단하는 방식으로, 구성타당도는 요인분석 등 통계 기법으로, 준거타당도는 이미 검증된 다른 척도나 실제 결과와의 상관관계를 통해 확인하는 것이 일반적입니다. 최근 논문에서는 이 여러 근거들을 종합해 하나의 '타당도 논증'으로 제시하는 방식도 점차 쓰이고 있습니다.
주의할 점
신뢰도가 높다고 해서 항상 타당도도 높은 것은 아닙니다. 고장 난 저울이 매번 같은(일관된) 값을 보여준다면 신뢰도는 높지만, 그 값이 실제 몸무게와 다르다면 타당도는 낮은 것입니다. 좋은 측정 도구는 두 가지를 모두 갖춰야 합니다.
헷갈리기 쉬운 용어
‘타당도’라는 단어가 나오는 맥락은 둘로 나뉩니다.
| 용어 | 대상 | 핵심 질문 |
|---|---|---|
| (측정) 타당도 | 측정 도구의 점수 | 재려는 것을 재고 있는가 |
| 내적 타당도 | 연구 설계 | 관찰한 효과를 처치 때문이라고 할 수 있는가 |
| 외적 타당도 | 연구 설계 | 결과를 다른 사람·상황에 일반화할 수 있는가 |
| 신뢰도 | 측정 점수 | 반복해도 일관되는가 |
참고 문헌
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing. American Educational Research Association.
- Messick, S. (1995). Validity of psychological assessment: validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741–749.
- Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50, 1–73.
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302.
- Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111, 1061–1071.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.