판별타당도 (Discriminant Validity)
쉽게 풀면
체중계와 온도계를 생각해봅시다. 이 두 도구는 완전히 다른 것을 재는 기구이므로, 한 사람의 체중이 늘었다고 해서 그 사람의 체온이 따라 오르지는 않을 겁니다. 즉 두 측정값은 서로 관련이 거의 없어야 정상입니다.
만약 어떤 연구자가 "우울 척도"와 "자존감 척도"를 각각 만들었는데 두 점수가 항상 거의 똑같이 움직인다면, 사실은 하나의 개념(예: 전반적인 부정적 감정)만 재고 있을 가능성이 있습니다. 판별타당도는 이렇게 서로 다르다고 주장하는 개념들이 실제로도 데이터상 구별되는지를 확인하는 절차입니다.
왜 중요한가
새로운 척도를 개발하거나 기존 척도를 다른 언어·문화권에 적용하는 연구에서는, 그 척도가 측정하려는 개념이 유사한 다른 개념들과 실제로 구별되는지 입증해야 척도의 타당성을 인정받을 수 있습니다. 판별타당도가 확보되지 않으면 서로 다른 이름의 척도들이 사실상 같은 것을 재는 중복 측정일 가능성이 제기되므로, 심리학·경영학·교육학 등 설문 기반 연구에서 척도 검증 절차의 필수 항목으로 다뤄집니다.
핵심 정리
- 판별(변별)타당도는 서로 다른 개념을 재는 척도·요인은 구별되어야 한다는 근거입니다. Campbell과 Fiske(1959)가 수렴타당도와 짝으로 제안했습니다.
- “상관이 0이어야 한다”는 뜻이 아닙니다. 이론적으로 관련 있는 개념끼리는 적당한 상관을 가질 수 있고, 문제는 두 개념이 사실상 같은 것으로 보일 만큼 상관이 높은 경우입니다.
- 구조방정식·확인적 요인분석 연구에서 자주 쓰는 확인 방법은 아래와 같습니다.
| 방법 | 기준 | 출처 |
|---|---|---|
| Fornell–Larcker 기준 | 각 요인의 평균분산추출(AVE)의 제곱근이 그 요인과 다른 요인들 사이의 상관보다 커야 함 | Fornell & Larcker (1981) |
| HTMT(이형질-단형질 비) | 값이 .85 또는 .90보다 작아야 함(엄격한 기준과 느슨한 기준) | Henseler 외 (2015) |
| 모형 비교 | 두 요인의 상관을 1로 고정한 모형이 자유롭게 추정한 모형보다 유의하게 나쁘면 두 요인은 구별됨 | Anderson & Gerbing (1988) |
| 요인 간 상관의 크기 | 요인 상관이 .85를 넘으면 구별이 어렵다고 보는 지침 | Brown (2015) |
모두 관례적 기준이며, 분야와 연구마다 쓰는 기준이 다릅니다.
예시로 보기
작은 계산 예(가상의 예). 요인 A는 표준화 부하량 0.8, 0.75, 0.7의 3문항, 요인 B는 0.7, 0.7, 0.65, 0.6의 4문항으로 이루어졌습니다. AVE는 부하량 제곱의 평균입니다.
- AVEA = 0.564 (제곱근 0.751), AVEB = 0.441 (제곱근 0.664)
- 두 요인의 상관이 0.55라면: 이 값은 두 제곱근(0.751, 0.664)보다 작으므로 Fornell–Larcker 기준을 만족합니다.
- 상관이 0.78라면: 이 값은 0.751(요인 A의 제곱근)보다 커서 기준을 만족하지 못합니다. 요인 간 공유 분산 r² = 0.608이 요인 B의 AVE(0.441)보다 크기 때문입니다.
AVE가 .50 이상이어야 한다는 기준은 판별이 아니라 수렴타당도(Fornell & Larcker, 1981)에 대한 것으로, 이 예의 요인 B(0.441)는 이 기준에는 못 미칩니다. 두 기준은 따로 확인합니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 판별타당도는 상관이 낮으면 충족된다. | 상관 하나만 보면 부족합니다. 측정 오차를 고려한 기준(AVE, HTMT)이나 모형 비교로 확인하는 것이 일반적입니다. |
| 판별타당도가 낮으면 척도가 틀렸다. | 이론적으로 가까운 개념(예: 같은 영역의 하위 차원)은 높은 상관을 보일 수 있습니다. 개념 자체가 통합적이라면 하나의 요인으로 보는 해석도 가능합니다. |
| Fornell–Larcker 기준을 통과했으니 충분하다. | 모의실험 연구(Henseler 외, 2015)는 이 기준이 구별 문제를 잘 잡아내지 못하는 경우가 있음을 보였고, 그래서 HTMT를 함께 보고하는 논문이 많습니다. |
| 판별타당도만 확인하면 구성타당도가 확보된다. | 수렴타당도, 내용, 내적 구조 등을 함께 모아야 합니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“또한 판별타당도 검증을 통해 각 요인 간의 차별성을 확인하였으며, 5개 요인 모두 AVE 값이 결정계수 보다 높고 .5 보다 큰 것으로 조사되어 판별타당성을 확보했다.”
육군 간부의 창의성 진단도구 타당화 연구, 평생교육 · HRD연구, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
“또한 각 요인 간 차별성을 확인하기 위해 판별타당도를 검증했으며, 전체 신뢰도는 Cronbach’s α 값 .933으로 매우 높게 조사되었다.”
재무관리역량 진단도구 개발 연구, 경영교육연구, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "두 척도가 서로 다른 개념(우울과 자존감)을 측정하고 있다는 것이 상관관계 분석으로 뒷받침되었다"는 뜻입니다. 상관이 지나치게 높았다면 두 척도가 사실상 같은 것을 재고 있다는 의심을 받게 됩니다.
경영학 설문 연구에서는 상관계수 대신 AVE 제곱근을 이용한 Fornell-Larcker 기준으로 판별타당도를 검증하는 경우가 흔하다.
교육심리 연구에서는 유사 개념 간 혼동 가능성이 클수록 판별타당도 검증이 척도의 독립성을 입증하는 핵심 근거로 제시된다.
조금 더 깊게 보면
판별타당도를 확인하는 방법은 단순 상관계수 비교 외에도 여러 가지가 있습니다.
구조방정식모형에서는 각 요인의 평균분산추출값(AVE) 제곱근이 다른 요인들과의 상관계수보다 커야 한다는 Fornell-Larcker 기준이 널리 쓰이며, 최근에는 이형질-특성비(HTMT, heterotrait-monotrait ratio)라는 지표가 더 엄격한 기준으로 함께 보고되는 경우도 많습니다.
어떤 지표를 쓰든 핵심은 같은 개념을 측정하는 문항들끼리의 관련성이 다른 개념을 측정하는 문항들과의 관련성보다 뚜렷하게 커야 한다는 원리입니다.
주의할 점
판별타당도는 항상 수렴타당도와 짝을 이루어 함께 보고됩니다. 수렴타당도가 "같은 개념을 재는 척도끼리는 상관이 높아야 한다"는 것이라면, 판별타당도는 그 반대로 "다른 개념을 재는 척도끼리는 상관이 낮아야 한다"는 것입니다. 둘 중 하나만 확인하고 척도가 타당하다고 결론짓는 것은 성급한 판단일 수 있습니다.
헷갈리기 쉬운 용어
구성타당도의 두 축과 상위 개념, 이를 한 번에 보는 방법을 구분합니다.
| 용어 | 질문 | 기대하는 결과 |
|---|---|---|
| 수렴타당도 | 같은 개념을 재는 척도·문항이 서로 모이는가 | 높은 상관, 높은 부하량 |
| 판별타당도 | 다른 개념을 재는 척도·요인이 구별되는가 | 관련은 있되 같은 것으로 보일 만큼 높지 않음 |
| 구성타당도 | 척도가 의도한 개념을 재는가(상위 개념) | 수렴·판별 등 여러 근거의 종합 |
| 다중특성-다중방법 행렬 | 수렴과 판별을 한 표에서 함께 보는 방법 | 같은 특성 상관이 가장 높음 |
참고 문헌
- Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105.
- Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39–50.
- Henseler, J., Ringle, C. M., & Sarstedt, M. (2015). A new criterion for assessing discriminant validity in variance-based structural equation modeling. Journal of the Academy of Marketing Science, 43(1), 115–135.
- Anderson, J. C., & Gerbing, D. W. (1988). Structural equation modeling in practice: A review and recommended two-step approach. Psychological Bulletin, 103(3), 411–423.
- Brown, T. A. (2015). Confirmatory Factor Analysis for Applied Research (2nd ed.). Guilford Press.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.