판별타당도 (Discriminant Validity)

한 줄 정의: 서로 다른 개념을 측정하는 척도들끼리는 실제로 상관관계가 낮게 나와야 한다는, 척도가 "제대로 구별되는지"를 확인하는 타당도입니다.

쉽게 풀면

체중계와 온도계를 생각해봅시다. 이 두 도구는 완전히 다른 것을 재는 기구이므로, 한 사람의 체중이 늘었다고 해서 그 사람의 체온이 따라 오르지는 않을 겁니다. 즉 두 측정값은 서로 관련이 거의 없어야 정상입니다. 만약 어떤 연구자가 "우울 척도"와 "자존감 척도"를 각각 만들었는데 두 점수가 항상 거의 똑같이 움직인다면, 사실은 하나의 개념(예: 전반적인 부정적 감정)만 재고 있을 가능성이 있습니다. 판별타당도는 이렇게 서로 다르다고 주장하는 개념들이 실제로도 데이터상 구별되는지를 확인하는 절차입니다.

왜 중요한가

새로운 척도를 개발하거나 기존 척도를 다른 언어·문화권에 적용하는 연구에서는, 그 척도가 측정하려는 개념이 유사한 다른 개념들과 실제로 구별되는지 입증해야 척도의 타당성을 인정받을 수 있습니다. 판별타당도가 확보되지 않으면 서로 다른 이름의 척도들이 사실상 같은 것을 재는 중복 측정일 가능성이 제기되므로, 심리학·경영학·교육학 등 설문 기반 연구에서 척도 검증 절차의 필수 항목으로 다뤄집니다.

논문에서는 이렇게 쓰입니다

"우울 척도와 자존감 척도 간 상관계수는 r=.32로 낮게 나타나 두 척도의 판별타당도가 확보되었다."

이 문장은 "두 척도가 서로 다른 개념(우울과 자존감)을 측정하고 있다는 것이 상관관계 분석으로 뒷받침되었다"는 뜻입니다. 상관이 지나치게 높았다면 두 척도가 사실상 같은 것을 재고 있다는 의심을 받게 됩니다.

"조직몰입 척도와 직무만족 척도의 평균분산추출값(AVE) 제곱근이 두 요인 간 상관계수보다 크게 나타나 판별타당도가 지지되었다."

경영학 설문 연구에서는 상관계수 대신 AVE 제곱근을 이용한 Fornell-Larcker 기준으로 판별타당도를 검증하는 경우가 흔하다.

"학업소진 척도와 우울 척도는 개념적으로 유사하지만, 확인적 요인분석 결과 두 요인이 뚜렷이 구분되어 판별타당도가 확인되었다."

교육심리 연구에서는 유사 개념 간 혼동 가능성이 클수록 판별타당도 검증이 척도의 독립성을 입증하는 핵심 근거로 제시된다.

조금 더 깊게 보면

판별타당도를 확인하는 방법은 단순 상관계수 비교 외에도 여러 가지가 있습니다. 구조방정식모형에서는 각 요인의 평균분산추출값(AVE) 제곱근이 다른 요인들과의 상관계수보다 커야 한다는 Fornell-Larcker 기준이 널리 쓰이며, 최근에는 이형질-특성비(HTMT, heterotrait-monotrait ratio)라는 지표가 더 엄격한 기준으로 함께 보고되는 경우도 많습니다. 어떤 지표를 쓰든 핵심은 같은 개념을 측정하는 문항들끼리의 관련성이 다른 개념을 측정하는 문항들과의 관련성보다 뚜렷하게 커야 한다는 원리입니다.

주의할 점

판별타당도는 항상 수렴타당도와 짝을 이루어 함께 보고됩니다. 수렴타당도가 "같은 개념을 재는 척도끼리는 상관이 높아야 한다"는 것이라면, 판별타당도는 그 반대로 "다른 개념을 재는 척도끼리는 상관이 낮아야 한다"는 것입니다. 둘 중 하나만 확인하고 척도가 타당하다고 결론짓는 것은 성급한 판단일 수 있습니다.