문항변별도 (Item Discrimination Index)

한 줄 정의: 어떤 문항이 실력(또는 특성)이 높은 사람과 낮은 사람을 얼마나 잘 구분해주는지를 나타내는 지표입니다.

쉽게 풀면

좋은 시험 문제는 공부를 잘한 학생이 맞히고 공부를 못한 학생이 틀리는 문제입니다. 반대로 상위권 학생도 틀리고 하위권 학생도 맞히는 문제는 "누가 잘하는지"를 구분하는 데 쓸모가 없습니다. 문항변별도는 바로 이 능력을 숫자로 나타낸 것으로, 보통 상위 집단의 정답률에서 하위 집단의 정답률을 뺀 값(또는 문항 점수와 총점 간의 상관계수)으로 계산합니다. 값이 클수록(1에 가까울수록) 실력 있는 사람과 없는 사람을 잘 갈라내는 좋은 문항이라는 뜻입니다.

왜 중요한가

문항변별도는 척도나 검사가 실제로 측정하려는 특성의 개인차를 얼마나 잘 포착하는지를 좌우하는 핵심 지표이기 때문에, 심리척도 개발, 교육평가, 진단검사 타당화 연구 등에서 문항을 선별하고 정제하는 과정에 빠짐없이 등장합니다. 변별도가 낮은 문항은 검사 신뢰도를 떨어뜨릴 수 있어 문항 삭제나 수정 여부를 판단하는 근거로 흔히 활용됩니다.

논문에서는 이렇게 쓰입니다

"문항-총점 상관을 이용해 산출한 문항변별도가 .30 미만인 4개 문항은 척도의 변별력을 저해한다고 판단하여 삭제하였다."

이 문장은 특정 문항들이 응답자의 전체 특성 수준과 상관관계가 낮아서, 그 특성을 잘 측정하지 못한다고 보고 척도에서 제거했다는 뜻입니다.

"상위 27%와 하위 27% 집단 간 정답률 차이를 이용한 고전적 변별도 지수를 산출한 결과, 대부분의 문항이 양호한 변별력을 보였다."

고전검사이론 기반 연구에서는 상위·하위 집단을 나누어 정답률 차이를 비교하는 방식으로 변별도를 간단히 산출하는 경우가 많습니다.

"우울 척도의 각 문항에 대해 문항변별도를 산출한 결과, 정서적 무기력을 묻는 문항이 가장 높은 변별력을 보였다."

심리척도 개발 연구에서는 개별 증상이나 특성을 묻는 문항들 중 어떤 문항이 전체 구성개념을 가장 잘 대표하는지 확인하는 데 변별도를 활용합니다.

조금 더 깊게 보면

문항변별도는 계산 방식에 따라 상위·하위 집단의 정답률 차이를 이용하는 고전적 방법과, 문항 점수와 총점 간 상관계수를 이용하는 방법으로 나뉩니다. 문항반응이론에서는 이를 문항특성곡선의 기울기로 나타내는 변별도 모수로 다루며, 이 값이 클수록 능력 수준이 조금만 달라져도 정답 확률이 급격히 변한다는 의미를 갖습니다. 문항변별도는 문항곤란도와 서로 독립적인 개념이므로, 두 지표를 함께 검토해야 문항의 전반적인 품질을 판단할 수 있습니다.

주의할 점

문항변별도가 음수로 나오는 경우, 즉 실력이 낮은 사람이 오히려 더 잘 맞히는 문항은 채점 오류나 문항 자체의 결함을 의심해야 합니다. 이는 문항곤란도와 함께 검토해야 하며, 두 지표 모두 좋아야 신뢰할 수 있는 문항이라고 볼 수 있습니다.