문항변별도 (Item Discrimination Index)

한 줄 정의: 어떤 문항이 실력(또는 특성)이 높은 사람과 낮은 사람을 얼마나 잘 구분해주는지를 나타내는 지표입니다.

쉽게 풀면

좋은 시험 문제는 공부를 잘한 학생이 맞히고 공부를 못한 학생이 틀리는 문제입니다. 반대로 상위권 학생도 틀리고 하위권 학생도 맞히는 문제는 "누가 잘하는지"를 구분하는 데 쓸모가 없습니다.

문항변별도는 바로 이 능력을 숫자로 나타낸 것으로, 보통 상위 집단의 정답률에서 하위 집단의 정답률을 뺀 값(또는 문항 점수와 총점 간의 상관계수)으로 계산합니다. 값이 클수록(1에 가까울수록) 실력 있는 사람과 없는 사람을 잘 갈라내는 좋은 문항이라는 뜻입니다.

왜 중요한가

문항변별도는 척도나 검사가 실제로 측정하려는 특성의 개인차를 얼마나 잘 포착하는지를 좌우하는 핵심 지표이기 때문에, 심리척도 개발, 교육평가, 진단검사 타당화 연구 등에서 문항을 선별하고 정제하는 과정에 빠짐없이 등장합니다. 변별도가 낮은 문항은 검사 신뢰도를 떨어뜨릴 수 있어 문항 삭제나 수정 여부를 판단하는 근거로 흔히 활용됩니다.

계산과 범위

두 가지 계산이 흔합니다.

상·하위 집단 방식: 총점으로 줄을 세워 상위·하위 27%를 비교합니다(Kelley, 1939). D = P_상 − P_하 (각 집단의 정답률). 범위는 −1~1입니다.
문항-총점 상관: 문항 점수(0/1)와 총점의 점이연상관. 총점에 그 문항이 포함되어 값이 부풀기 때문에, 그 문항을 뺀 나머지 총점과의 상관(수정 문항-총점 상관)을 쓰기도 합니다.

가상의 예 1 (100명): 상위 27명 중 24명, 하위 27명 중 9명이 맞혔다면 D = 24/27 − 9/27 = 0.889 − 0.333 = 0.556.

가상의 예 2 (20문항 검사, 10명): 문항의 정답 여부와 총점이 아래와 같을 때

사람	1	2	3	4	5	6	7	8	9	10
문항(1 = 정답)	1	1	1	0	1	0	1	0	1	0
총점	18	16	15	9	17	8	14	10	12	11

점이연상관은 .862, 그 문항을 뺀 총점과의 상관은 .815입니다(코드로 계산). 표본이 10명뿐이라 실제 판단에는 쓸 수 없는 계산 예시입니다.

해석 기준

교육측정 교재에서 자주 인용되는 관례(Ebel & Frisbie, 1991)는 다음과 같습니다.

D	판단
.40 이상	매우 좋음
.30~.39	양호
.20~.29	경계. 수정을 검토
.20 미만	불량. 수정 또는 삭제

이는 관례이며, 검사의 목적과 문항 수, 표본에 따라 해석이 달라집니다. 음수는 하위 집단이 더 잘 맞힌다는 뜻이므로 채점키 오류, 모호한 선택지, 문항 결함을 점검합니다. 거의 모두가 맞히거나 틀리는 문항은 (문항곤란도 극단) 변별력이 제한됩니다.

보고 방법

계산 방식(상·하위 27% 또는 문항-총점 상관, 수정 여부)과 판단 기준의 출처를 적습니다.
문항곤란도와 함께 표로 싣고, 삭제·수정한 문항 수와 이유를 적습니다.
문항반응이론을 쓰면 변별도 모수(문항특성곡선의 기울기)를 따로 보고합니다.
(가상의 문장) “문항변별도(상·하위 27%)가 .20 미만인 3문항을 삭제하고 21문항을 최종 문항으로 확정하였다.”

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“베트남판 기초수학능력검사 시안 개발은 문헌고찰, 전문가 검토, 예비검사에 의하였으며, 베트남판 기초수학능력검사의 최종문항에 대한 문항양호도는 문항-총점상관, 문항 제거 시 Cronbach의 α계수, 문항난이도, 문항변별도에 의해 조사하였다.”
베트남판 기초수학능력검사 개발 연구, 특수교육교과교육연구, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗
“첫째, 유아기 부모의 수학적 상호작용 척도 문항을 유아기관의 상황에 적합하게 수정하여 전문가로부터 내용타당도를 검증받은 24개 문항은 문항변별도에서 모두 양호하였다.”
유아교사의 수학적 상호작용 척도 타당화 연구, 유아교육·보육복지연구, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
“검사도구의 타당화 를 위해서 문항변별도 확인, 공인타당도 검증, 검사-재검사를 통한 검사도구의 안정성을 검증 하고 검사문항의 신뢰도를 확인하였다.”
유아 기후행동 검사도구의 개발 및 타당화, 유아교육연구, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"문항-총점 상관을 이용해 산출한 문항변별도가 .30 미만인 4개 문항은 척도의 변별력을 저해한다고 판단하여 삭제하였다."

이 문장은 특정 문항들이 응답자의 전체 특성 수준과 상관관계가 낮아서, 그 특성을 잘 측정하지 못한다고 보고 척도에서 제거했다는 뜻입니다.

"상위 27%와 하위 27% 집단 간 정답률 차이를 이용한 고전적 변별도 지수를 산출한 결과, 대부분의 문항이 양호한 변별력을 보였다."

고전검사이론 기반 연구에서는 상위·하위 집단을 나누어 정답률 차이를 비교하는 방식으로 변별도를 간단히 산출하는 경우가 많습니다.

"우울 척도의 각 문항에 대해 문항변별도를 산출한 결과, 정서적 무기력을 묻는 문항이 가장 높은 변별력을 보였다."

심리척도 개발 연구에서는 개별 증상이나 특성을 묻는 문항들 중 어떤 문항이 전체 구성개념을 가장 잘 대표하는지 확인하는 데 변별도를 활용합니다.

조금 더 깊게 보면

문항변별도는 계산 방식에 따라 상위·하위 집단의 정답률 차이를 이용하는 고전적 방법과, 문항 점수와 총점 간 상관계수를 이용하는 방법으로 나뉩니다. 문항반응이론에서는 이를 문항특성곡선의 기울기로 나타내는 변별도 모수로 다루며, 이 값이 클수록 능력 수준이 조금만 달라져도 정답 확률이 급격히 변한다는 의미를 갖습니다. 문항변별도는 문항곤란도와 서로 독립적인 개념이므로, 두 지표를 함께 검토해야 문항의 전반적인 품질을 판단할 수 있습니다.

주의할 점

문항변별도가 음수로 나오는 경우, 즉 실력이 낮은 사람이 오히려 더 잘 맞히는 문항은 채점 오류나 문항 자체의 결함을 의심해야 합니다. 이는 문항곤란도와 함께 검토해야 하며, 두 지표 모두 좋아야 신뢰할 수 있는 문항이라고 볼 수 있습니다.

헷갈리기 쉬운 용어

문항 분석 지표는 서로 다른 면을 봅니다.

지표	묻는 것	범위
문항변별도	총점이 높은 사람과 낮은 사람을 구분하는가	−1~1
문항곤란도	얼마나 많은 사람이 맞히는가	0~1 (정답률)
IRT 변별력 모수	능력 변화에 대한 정답 확률의 민감도	보통 0 이상
요인적재량	문항이 요인과 관련된 정도	대체로 −1~1

참고 문헌

Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30, 17–24.
Ebel, R. L., & Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Prentice Hall.
Crocker, L., & Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.