문항곤란도 (Item Difficulty Index)
쉽게 풀면
시험 문제를 100명이 풀었는데 90명이 맞혔다면 그 문제는 쉬운 문제, 10명만 맞혔다면 어려운 문제라고 할 수 있습니다. 문항곤란도(문항난이도)는 이걸 숫자로 표현한 것으로, 보통 정답률 자체를 지표로 씁니다. 이름은 "곤란도(어려움 정도)"지만 실제 값은 정답 비율이라서, 값이 높을수록(1에 가까울수록) 오히려 쉬운 문항이고 값이 낮을수록(0에 가까울수록) 어려운 문항이라는 점이 헷갈리기 쉽습니다. 시험 출제자나 척도 개발자는 이 값을 보고 너무 쉽거나 너무 어려운 문항을 걸러냅니다.
왜 중요한가
문항곤란도는 검사나 척도를 개발할 때 가장 먼저 확인하는 기초 통계치 중 하나로, 지나치게 쉽거나 어려운 문항을 걸러내 검사가 응답자들의 실제 차이를 잘 반영하도록 하는 데 필수적입니다. 표준화 검사 개발부터 심리척도 타당화 연구까지, 문항 단위 분석을 다루는 논문에서 거의 빠지지 않고 보고되는 지표입니다.
논문에서는 이렇게 쓰입니다
이 문장은 거의 모든 사람이 틀리거나(.20 미만) 거의 모든 사람이 맞힌(.80 초과) 문항은 응답자 간의 차이를 잘 구분해주지 못하므로 척도에서 빼기로 했다는 뜻입니다.
검사 개발 절차에서는 문항곤란도 값을 활용해 응답자가 초반에 자신감을 갖고 검사에 임할 수 있도록 문항 순서를 배치하는 경우가 흔합니다.
교육평가 연구에서는 영역별 문항곤란도 분포를 비교해 특정 내용 영역의 학습 난이도를 진단하는 데 활용합니다.
조금 더 깊게 보면
고전검사이론에서 문항곤란도는 단순 정답률로 계산되지만, 문항반응이론에서는 응답자의 능력 수준까지 함께 고려한 난이도 모수로 추정됩니다. 이 경우 표본이 달라져도 비교적 안정적인 난이도 값을 얻을 수 있다는 것이 문항반응이론 기반 난이도 추정의 장점으로 흔히 언급됩니다. 정답률 기반 문항곤란도는 계산이 간단해 예비조사나 초기 문항 선별 단계에서 여전히 널리 쓰입니다.
주의할 점
문항곤란도가 적당한 수준(대략 .30~.70)이라고 해서 그 문항이 좋은 문항이라고 단정할 수는 없습니다. 응답자를 잘 구분해내는 능력은 문항변별도로 따로 확인해야 하며, 두 지표를 함께 봐야 문항의 품질을 제대로 판단할 수 있습니다.