구성개념 무관분산 (construct-irrelevant variance)
쉽게 풀면
수학 실력을 측정하려는 문제가 지나치게 복잡한 문장으로 되어 있다면, 수학을 잘하는 학생이라도 문제를 이해하지 못해 틀릴 수 있습니다. 이 경우 점수 차이의 일부는 수학 실력이 아니라 읽기 능력이라는 무관한 요인 때문에 생긴 것입니다. 이렇게 측정하려는 개념과 상관없는 요인이 점수에 섞여 들어가는 것을 구성개념 무관분산이라고 부릅니다. 앞서 언급한 과소대표와는 반대로, 원치 않는 것이 과도하게 섞여 들어가는 문제입니다.
왜 중요한가
구성개념 무관분산은 검사의 타당도를 훼손하는 대표적인 원천이기 때문에 심리측정학, 교육평가, 조직 설문 연구 전반에서 반복적으로 다뤄진다. 측정 도구가 실제로 재고자 하는 개념만을 반영하는지를 검증하는 절차(타당도 검증)는 이 문제를 얼마나 잘 통제했는지에 크게 좌우된다. 또한 특정 집단에게만 무관 요인이 불리하게 작용하면 검사의 공정성과 형평성 논쟁으로 이어지므로, 표준화 검사나 채용·선발 도구를 다루는 응용 연구에서도 핵심 쟁점으로 등장한다.
논문에서는 이렇게 쓰입니다
측정 결과에 개념과 무관한 요인이 섞여 들어갔을 가능성을 논의하는 문장이다.
조사 도구의 응답 형식(온라인 인터페이스)이 측정하려는 개념과 무관한 변산을 유발할 수 있음을 지적하는 문장이다.
비교문화 연구에서 번역 과정 자체가 측정하려는 구성개념과 무관한 오차를 만들어낼 수 있음을 논의하는 문장이다.
조금 더 깊게 보면
구성개념 무관분산은 응답자에게 공통적으로 영향을 미치는 체계적 요인(예: 검사 형식, 언어 부담, 문화적 배경)과 개인마다 다르게 나타나는 요인으로 나누어 살펴볼 수 있으며, 어느 쪽이든 관찰 점수의 분산을 진점수와 무관하게 부풀리거나 왜곡한다는 점에서 신뢰도·타당도 논의와 맞닿아 있다. 이를 점검하는 방법으로는 요인분석을 통해 의도한 구성개념 외의 요인이 함께 추출되는지 확인하거나, 측정불변성(measurement invariance) 검증을 통해 집단 간 문항 작동 방식이 동일한지 살펴보는 접근이 흔히 쓰인다. 이러한 절차는 앞서 언급한 구성개념 과소대표와 함께 구성타당도를 위협하는 두 축으로 다뤄지는 경우가 많다.
주의할 점
구성개념 무관분산은 특정 하위집단(예: 언어장벽이 있는 응답자)에게 불공정하게 작용할 수 있어 측정 공정성 문제와도 직결된다.