고전검사이론 (Classical Test Theory)
쉽게 풀면
같은 사람이 같은 시험을 여러 번 본다고 해도 컨디션이나 문제 순서, 그날의 집중력 같은 우연적인 요인 때문에 점수가 조금씩 다르게 나올 수 있습니다. 고전검사이론은 이런 현상을 아주 단순한 공식으로 설명합니다. "관찰점수 = 진점수 + 오차점수." 여기서 진점수는 오차가 전혀 없다면 나왔을 그 사람의 "진짜" 실력이고, 오차점수는 우연히 더해지거나 빠진 잡음입니다. 이 이론은 오차가 평균적으로 0이고 무작위로 발생한다고 가정하기 때문에, 같은 검사를 아주 많이 반복해서 본다면 평균적으로 진점수에 가까워질 것이라고 봅니다. 크론바흐 알파 같은 신뢰도 지표나 측정표준오차는 모두 이 고전검사이론의 틀 위에서 계산됩니다.
왜 중요한가
설문지나 시험처럼 사람의 특성을 점수로 측정하는 도구는 필연적으로 오차를 포함하기 때문에, 그 도구가 얼마나 믿을 만한지를 먼저 확인하지 않으면 뒤이은 통계 분석 결과 자체가 흔들릴 수 있습니다. 고전검사이론은 이런 신뢰도·타당도 검증의 이론적 기반을 제공하기 때문에 심리학, 교육학, 간호학 등 척도를 개발하고 사용하는 거의 모든 논문에서 방법론 부분에 빠지지 않고 등장합니다. 또한 크론바흐 알파나 측정표준오차 같은 구체적인 지표들이 왜 그렇게 계산되는지를 이해하려면 결국 이 이론으로 돌아가야 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 문항 하나하나가 얼마나 쉬운지(문항곤란도), 실력이 높은 사람과 낮은 사람을 얼마나 잘 구분하는지(문항변별도)를 분석할 때, 고전검사이론이라는 전통적인 통계 틀을 사용했다는 뜻입니다.
같은 사람에게 같은 검사를 시간차를 두고 두 번 실시했을 때 점수가 비슷하게 나오는지를 보는 방법인데, 이때 두 시점의 점수 차이를 "진점수는 그대로이고 오차만 달라졌다"는 고전검사이론의 논리로 해석한다는 뜻입니다.
임상·상담 분야 논문에서 흔히 보이는 표현으로, 개별 문항이 척도 전체 점수와 얼마나 잘 어울리는지, 그리고 척도 전체가 일관되게 측정하고 있는지를 고전검사이론의 방식으로 함께 확인했다는 의미입니다.
조금 더 깊게 보면
고전검사이론에서 오차점수는 특정 방향으로 치우치지 않고(평균 0), 진점수와 상관이 없다고 가정합니다. 이 가정 위에서 신뢰도는 흔히 "전체 점수 분산 중 진점수 분산이 차지하는 비율"로 정의되며, 이를 실제로 추정하는 방법에는 검사-재검사법, 동형검사법, 내적 일관성(대표적으로 크론바흐 알파) 등 여러 갈래가 있습니다. 다만 이 이론은 문항 하나하나의 특성이 아니라 검사 전체 수준의 통계치를 다루기 때문에, 문항 단위의 정교한 분석이 필요할 때는 문항반응이론과 같은 대안적 접근이 함께 언급되는 경우가 많습니다.
주의할 점
고전검사이론은 계산이 쉽고 직관적이지만, 문항곤란도나 문항변별도 같은 지표 값이 "어떤 응시자 집단에게 검사를 실시했는가"에 따라 달라진다는 한계가 있습니다. 즉 쉬운 집단에게 실시하면 문항이 상대적으로 어려워 보이고, 어려운 집단에게 실시하면 쉬워 보입니다. 이런 한계를 보완하기 위해 응시자 집단과 무관하게 문항의 특성을 추정하는 문항반응이론이 함께 쓰이는 경우가 많습니다.