준거타당도 (Criterion Validity)
쉽게 풀면
새로 만든 온도계가 정확한지 확인하고 싶다면 가장 확실한 방법은 이미 정확하다고 검증된 온도계와 나란히 놓고 같은 순간의 온도를 재서 두 값을 비교해보는 것입니다. 두 온도계의 값이 잘 맞아떨어진다면 새 온도계도 믿을 만하다고 판단할 수 있죠. 준거타당도도 같은 논리입니다. 연구자가 새로 개발한 설문지나 척도가 실제로 재려는 것을 잘 재고 있는지 확인하기 위해, 이미 널리 쓰이고 타당성이 인정된 다른 검사(준거)의 점수와 비교해서 두 점수가 서로 관련이 있는지를 확인합니다.
왜 중요한가
새로운 척도나 검사가 개발될 때마다 그것이 실제로 측정하려는 대상을 제대로 재는지 확인하는 절차가 반드시 필요한데, 준거타당도는 이미 신뢰받는 외부 기준과 직접 비교함으로써 이를 비교적 명확한 수치로 검증할 수 있게 해줍니다. 심리검사, 임상 진단도구, 채용 및 선발 검사, 학업성취도 검사 등 실제 의사결정에 쓰이는 도구를 개발하는 연구에서는 준거타당도 확인이 사실상 필수 절차로 요구되며, 이 값이 낮으면 그 도구를 실무에 도입하기 어렵다는 판단으로 이어지기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "새 척도의 점수가 이미 검증된 우울 검사 점수와 비슷하게 움직였으므로, 새 척도도 우울을 제대로 재고 있다고 볼 수 있다"는 뜻입니다.
산업심리학에서는 검사 점수가 미래의 실제 성과를 얼마나 잘 예측하는지를 준거타당도의 한 형태로 확인한다는 뜻입니다.
보건학 연구에서는 간편한 자가보고 도구가 더 객관적인 측정 장비의 결과와 얼마나 일치하는지를 통해 준거타당도를 확인한다는 뜻입니다.
조금 더 깊게 보면
준거타당도는 흔히 비교 시점에 따라 두 가지로 나뉘는데, 새 검사와 준거 검사를 거의 동시에 측정해 비교하는 동시타당도(concurrent validity)와, 새 검사 점수가 미래의 결과를 얼마나 잘 예측하는지 보는 예측타당도(predictive validity)가 대표적입니다. 준거타당도 계수는 흔히 상관계수로 보고되지만, 상관의 크기를 절대적인 기준으로 판단하기보다는 해당 분야에서 통상적으로 통용되는 수준과 비교해 해석하는 것이 일반적입니다. 또한 비교 대상인 준거 자체가 완벽하지 않다는 한계(준거오염, criterion contamination) 때문에, 상관이 낮게 나왔다고 해서 반드시 새 검사에 문제가 있다고 단정하기는 어렵습니다.
주의할 점
준거타당도는 눈에 보이는 외부 기준과의 일치 여부를 확인하는 것으로, 측정하려는 추상적 개념(구성개념) 자체를 이론적으로 잘 대표하는지를 폭넓게 살펴보는 구성개념와는 초점이 다릅니다. 또한 비교할 준거 검사 자체의 타당도가 낮다면, 아무리 상관이 높게 나와도 준거타당도를 제대로 확인했다고 보기 어렵습니다.