준거타당도 (Criterion Validity)
쉽게 풀면
새로 만든 온도계가 정확한지 확인하고 싶다면 가장 확실한 방법은 이미 정확하다고 검증된 온도계와 나란히 놓고 같은 순간의 온도를 재서 두 값을 비교해보는 것입니다. 두 온도계의 값이 잘 맞아떨어진다면 새 온도계도 믿을 만하다고 판단할 수 있죠. 준거타당도도 같은 논리입니다.
연구자가 새로 개발한 설문지나 척도가 실제로 재려는 것을 잘 재고 있는지 확인하기 위해, 이미 널리 쓰이고 타당성이 인정된 다른 검사(준거)의 점수와 비교해서 두 점수가 서로 관련이 있는지를 확인합니다.
왜 중요한가
새로운 척도나 검사가 개발될 때마다 그것이 실제로 측정하려는 대상을 제대로 재는지 확인하는 절차가 반드시 필요한데, 준거타당도는 이미 신뢰받는 외부 기준과 직접 비교함으로써 이를 비교적 명확한 수치로 검증할 수 있게 해줍니다. 심리검사, 임상 진단도구, 채용 및 선발 검사, 학업성취도 검사 등 실제 의사결정에 쓰이는 도구를 개발하는 연구에서는 준거타당도 확인이 사실상 필수 절차로 요구되며, 이 값이 낮으면 그 도구를 실무에 도입하기 어렵다는 판단으로 이어지기도 합니다.
핵심 정리
- 준거타당도는 새 도구의 점수가 기준이 되는 측정(준거)과 얼마나 일치하는지 보는 증거입니다. 준거는 널리 인정된 기존 도구, 진단 결과, 이후의 실제 성과 등입니다.
- 준거를 같은 시점에 얻으면 동시(공인) 타당도, 미래의 결과를 예측하면 예측타당도입니다.
- 현대 표준(AERA, APA, & NCME, 2014)은 타당도를 종류가 아니라 증거의 출처(내용, 응답 과정, 내적 구조, 다른 변수와의 관계, 결과)로 설명하며, 준거타당도는 ‘다른 변수와의 관계’에 해당합니다.
- COSMIN 분류(Mokkink 등, 2010)에서는 준거타당도를 ‘금 기준(gold standard)’과의 일치로 좁게 정의하는데, 환자 보고 결과 척도에는 금 기준이 드물어 구성타당도를 쓰는 경우가 많다고 설명합니다.
예시로 보기
가상의 예: 새로 만든 20문항 척도와 이미 검증된 표준 척도를 40명에게 같은 날 실시했더니 피어슨 상관이 r = .78이었습니다. 표본이 40명이므로 피셔 z 변환으로 구한 95% 신뢰구간은 약 .62 ~ .88입니다(코드로 계산). 점 추정값이 높아도 표본이 작으면 구간이 넓어 ‘실제 상관이 .6쯤인지 .9쯤인지’ 알 수 없습니다.
준거가 범주(진단 있음/없음)이면 상관 대신 민감도·특이도와 ROC 곡선으로 일치를 보고합니다.
자주 하는 오해
- “상관이 높으면 타당하다.” 준거 자체의 신뢰도·타당도가 낮거나 두 도구가 같은 응답 방식 때문에 비슷하게 나오는 것일 수 있습니다.
- “상관이 낮으면 새 도구가 나쁘다.” 준거가 불완전하거나, 두 도구가 약간 다른 것을 재거나, 표본 점수 범위가 좁아(범위 제한) 상관이 작게 나올 수도 있습니다.
- “동시타당도와 예측타당도는 같다.” 시점이 다릅니다. 동시 상관이 높아도 미래 결과를 예측한다는 보장은 없습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“비판적 사고 경향 도구와의 상관분석을 실시한 결과 유의한 양의 상관관계가 있는 것으로 나타나 비판적 사고와 관련된 학습성과에 기반한 평가도구의 준거타당도를 확인하였다.”
시뮬레이션 실습에서 학습성과 평가도구의 신뢰도 및 타당도 -여성건강 간호학 실습에서 비판적 추론과정을 통한 간호과정 적용(학습성과)을 중심으로-, 한국산학기술학회논문지, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗
“준거타당도 검증을 위해 K-APDS와 Delirium Observation Screening과 Pearson's correlation coefficient를 확인하였고 .94 (p<.001)로 나타났다.”
한국형 성인 환자 섬망 선별 도구 개발, 임상간호연구, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗
“또한 K-self assessment of teamwork의 준거타당도 검증을 위하여 Mayo High Performance Teamwork Scale(MHPTS)과의 상관관계를 Pearson’s correlation coefficient를 통해 분석하였다.”
시뮬레이션 교육의 효과 평가를 위한 한국형 간호학생 팀워크 측정도구개발, 한국산학기술학회논문지, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "새 척도의 점수가 이미 검증된 우울 검사 점수와 비슷하게 움직였으므로, 새 척도도 우울을 제대로 재고 있다고 볼 수 있다"는 뜻입니다.
산업심리학에서는 검사 점수가 미래의 실제 성과를 얼마나 잘 예측하는지를 준거타당도의 한 형태로 확인한다는 뜻입니다.
보건학 연구에서는 간편한 자가보고 도구가 더 객관적인 측정 장비의 결과와 얼마나 일치하는지를 통해 준거타당도를 확인한다는 뜻입니다.
조금 더 깊게 보면
준거타당도는 흔히 비교 시점에 따라 두 가지로 나뉘는데, 새 검사와 준거 검사를 거의 동시에 측정해 비교하는 동시타당도(concurrent validity)와, 새 검사 점수가 미래의 결과를 얼마나 잘 예측하는지 보는 예측타당도(predictive validity)가 대표적입니다.
준거타당도 계수는 흔히 상관계수로 보고되지만, 상관의 크기를 절대적인 기준으로 판단하기보다는 해당 분야에서 통상적으로 통용되는 수준과 비교해 해석하는 것이 일반적입니다.
또한 비교 대상인 준거 자체가 완벽하지 않다는 한계 때문에, 상관이 낮게 나왔다고 해서 반드시 새 검사에 문제가 있다고 단정하기는 어렵습니다.
주의할 점
준거타당도는 눈에 보이는 외부 기준과의 일치 여부를 확인하는 것으로, 측정하려는 추상적 개념(구성개념) 자체를 이론적으로 잘 대표하는지를 폭넓게 살펴보는 구성타당도와는 초점이 다릅니다. 또한 비교할 준거 검사 자체의 타당도가 낮다면, 아무리 상관이 높게 나와도 준거타당도를 제대로 확인했다고 보기 어렵습니다.
헷갈리기 쉬운 용어
| 용어 | 무엇과 비교하나 | 시점 |
|---|---|---|
| 준거타당도 | 기준이 되는 측정(준거) | 동시 또는 미래 |
| 동시(공인)타당도 | 같은 시점의 기존 검증된 도구 | 같은 시점 |
| 예측타당도 | 나중에 나타나는 결과 | 미래 |
| 수렴타당도 | 같은 개념을 재는 다른 도구(이론적으로 관련되어야 함) | 주로 같은 시점 |
참고 문헌
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302.
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.