대조집단타당도 (Known-Groups Validity)

한 줄 정의: 이미 그 특성이 있다고 알려진 집단과 없다고 알려진 집단에게 같은 척도를 실시했을 때, 두 집단의 점수가 예상대로 다르게 나오는지를 확인하는 타당도입니다.

쉽게 풀면

새로 만든 "우울 척도"가 정말 우울을 잘 재는지 확인하고 싶다고 해봅시다. 가장 직관적인 방법은 이미 우울증 진단을 받은 환자 집단과, 정신과 진단이 없는 일반인 집단에게 똑같이 척도를 실시해 보는 것입니다. 만약 척도가 제대로 만들어졌다면 진단받은 집단의 점수가 일반인 집단보다 확실히 더 높게 나와야겠지요. 이렇게 "특성이 있다고 이미 알려진 집단"과 "없다고 알려진 집단"을 대조해서 점수 차이가 예상대로 나타나는지 보는 것이 대조집단타당도입니다. 별도의 외부 검사나 연속적인 기준 점수 없이, 집단 구분만으로 타당도를 검증한다는 점이 특징입니다.

왜 중요한가

새로운 척도를 개발할 때는 그 척도가 실제로 의도한 특성을 측정하는지를 입증해야 하는데, 임상집단처럼 명확히 구분된 대조군을 활용하면 별도의 정교한 준거 측정 없이도 비교적 간단하게 타당도 근거를 제시할 수 있습니다. 이 때문에 심리검사나 임상척도를 새로 개발하는 논문에서 다른 타당도 검증 방법과 함께 자주 보고되는 항목입니다.

논문에서는 이렇게 쓰입니다

"임상집단과 일반집단 간 우울척도 점수 차이는 통계적으로 유의하여(t = 6.42, p < .001) 본 척도의 대조집단타당도가 확인되었다."

이 문장은 "우울증이 있다고 알려진 집단과 없다고 알려진 집단의 척도 점수를 비교했더니, 예상한 방향으로 유의미한 차이가 나타나 척도가 실제로 우울을 잘 측정한다는 근거를 확보했다"는 뜻입니다.

"신체활동 수준이 높은 것으로 알려진 운동선수 집단과 일반인 집단 간 새로 개발한 신체효능감 척도 점수를 비교한 결과, 예상대로 운동선수 집단의 점수가 유의하게 높게 나타나 대조집단타당도가 지지되었다."

스포츠심리학 연구에서 신체 관련 자기효능감 척도의 타당도를 검증할 때 활용된 예시이다.

"경력 연차가 높은 관리자 집단과 신입 직원 집단 간 조직몰입 척도 점수 차이를 비교하여 척도의 대조집단타당도를 검증하였다."

조직심리학 연구에서 경력 수준에 따라 다르게 나타날 것으로 예상되는 심리적 구성개념을 검증한 예시이다.

조금 더 깊게 보면

대조집단타당도는 넓게 보면 구성타당도의 한 하위 증거로 다뤄지며, 집단 간 평균 차이의 통계적 유의성뿐 아니라 효과크기(예: 코헨의 d)를 함께 보고하는 것이 바람직합니다. 통계적으로 유의한 차이가 나왔다고 해서 곧바로 척도가 타당하다고 단정하기보다는, 이 결과를 수렴타당도나 판별타당도 같은 다른 타당도 증거와 함께 종합적으로 해석하는 것이 일반적입니다. 집단을 나누는 기준(예: 진단 여부, 경력 연차) 자체가 명확하고 신뢰할 수 있어야 이 방법의 결과도 의미를 갖습니다.

주의할 점

대조집단타당도는 외부의 연속적인 준거 점수와 비교하는 준거타당도와는 다릅니다. 준거타당도가 "이미 검증된 다른 점수"와의 상관을 보는 것이라면, 대조집단타당도는 애초에 특성 유무가 뚜렷이 구분되는 두 집단 사이의 평균 차이만으로 판단합니다. 두 집단이 실제로는 잘 구분되지 않는 애매한 기준으로 나뉘었다면, 점수 차이가 유의하지 않아도 척도 자체의 문제가 아닐 수 있으므로 집단 구분 기준을 먼저 점검해야 합니다.