차별적 문항기능 (Differential Item Functioning)
쉽게 풀면
실력이 똑같은 두 학생이 있다고 해봅시다. 그런데 한 시험 문제가 특정 문화권에서만 흔히 접하는 배경지식을 요구한다면, 그 문화권 학생이 실력과 무관하게 더 잘 맞힐 수 있습니다. 이렇게 "실제 능력은 같은데 소속 집단 때문에 정답률이 달라지는 문항"을 찾아내는 통계적 절차가 바로 DIF 분석입니다. 즉, 시험이나 설문 문항이 특정 집단에게 공정하지 않게 작동하고 있지는 않은지를 점검하는 도구입니다.
왜 중요한가
DIF 분석은 검사와 설문이 특정 집단에게 불리하게 작동하지 않는지를 확인하는 절차로, 대규모 표준화 시험, 국가 간 비교 설문, 임상 척도 개발 등 측정의 공정성이 중요한 모든 연구 분야에서 필수적으로 검토됩니다. 특히 서로 다른 언어나 문화권에서 동일한 척도를 사용해 비교하는 국제비교연구에서는, 번역 과정에서 특정 문항의 의미가 왜곡되었는지를 확인하는 수단으로도 DIF 분석이 활용됩니다. 이 때문에 새로운 검사 도구를 개발하거나 기존 척도를 다른 집단에 적용하는 논문에서는 타당도 검증의 한 절차로 DIF 분석 결과가 자주 보고됩니다.
언제 쓰나
- 검사나 척도를 개발하거나 번역해 다른 집단에 쓸 때, 같은 능력·특성 수준의 응답자가 집단(성별, 연령, 언어 등)에 따라 특정 문항에 다르게 반응하는지 점검합니다.
- 비교 대상은 기준집단(reference)과 초점집단(focal)이고, 응답자를 같은 총점(또는 능력) 수준으로 맞춘 뒤 문항별로 비교합니다.
- Swaminathan과 Rogers(1990)는 두 집단 사이의 DIF를 특성화하는 로지스틱 회귀모형을 제시하며 균일 DIF와 비균일 DIF를 구분합니다. Holland와 Thayer(1986)는 2×2×k 표에서 공통 연관 모수를 검정하는 Mantel-Haenszel 절차를 DIF에 적용하는 방법을 논의합니다.
결과는 이렇게 읽는다
Mantel-Haenszel 방식은 총점으로 나눈 각 층(k개)에서 기준집단·초점집단의 정답/오답 2×2표를 만들고, 층별 표를 합쳐 공통 오즈비를 구합니다. 가상의 예(세 층):
| 층 | 기준 정답 | 기준 오답 | 초점 정답 | 초점 오답 | 층별 오즈비 |
|---|---|---|---|---|---|
| 낮음 | 20 | 30 | 10 | 40 | 2.67 |
| 중간 | 30 | 20 | 20 | 30 | 2.25 |
| 높음 | 40 | 10 | 30 | 20 | 2.67 |
층별 합산으로 구한 Mantel-Haenszel 공통 오즈비는 2.5입니다. 1이면 같은 수준에서 두 집단의 정답 오즈가 같다는 뜻이므로, 2.5는 기준집단이 같은 수준의 초점집단보다 이 문항을 맞힐 오즈가 2.5배라는 뜻입니다(이 가상의 문항은 한 방향으로 DIF가 있는 사례).
- 균일 DIF는 능력 수준과 관계없이 한 집단이 일관되게 유리한 경우이고, 비균일 DIF는 수준에 따라 유리한 집단이 바뀌는 경우입니다. Rogers와 Swaminathan(1993)에 따르면 Mantel-Haenszel 절차는 한 종류의 DIF에만 민감하며 비균일 효과는 잡도록 설계되지 않았고, 이를 일반화한 로지스틱 회귀가 보완책입니다.
- DIF가 있다고 해서 곧 편향은 아닙니다. 문항 내용에 대한 전문가 검토로 원인을 따져야 합니다.
논문에는 이렇게 보고한다
- 집단 구분 기준(기준집단·초점집단)과 표본 수를 적습니다.
- 사용한 방법(Mantel-Haenszel, 로지스틱 회귀, 문항반응이론 기반 등)과 능력 수준을 맞춘 기준(총점 등)을 적습니다.
- DIF 문항 목록, 효과 크기, 방향(어느 집단에 유리한지)을 표로 제시합니다.
- 다수 문항을 동시에 검정하므로 다중 비교를 어떻게 다뤘는지 밝힙니다.
- DIF 문항의 처리(수정, 삭제, 유지)와 그 근거를 적습니다.
보고 예: "Mantel-Haenszel 분석에서 3번 문항의 공통 오즈비는 2.5였다."(가상의 예)
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 남녀 응답자의 전체 능력 수준이 같더라도, 3번 문항에서만큼은 남녀 간 정답률 차이가 우연이라고 보기 어려울 만큼 크게 나타났다는 뜻입니다. 이런 문항은 수정하거나 삭제하는 것이 검토됩니다.
임상심리 척도 연구에서는 서로 다른 연령대나 임상집단 사이에서 특정 문항이 동일한 심리적 특성을 다르게 측정하고 있지는 않은지 확인하기 위해 DIF 분석을 수행합니다.
국제비교연구에서는 번역된 척도 문항이 문화권마다 다르게 해석될 가능성을 점검하는 데 DIF 분석이 활용됩니다.
조금 더 깊게 보면
DIF는 크게 균일적 DIF(uniform DIF)와 비균일적 DIF(non-uniform DIF)로 구분되는데, 전자는 능력 수준 전반에 걸쳐 한 집단이 일관되게 유리하거나 불리한 경우이고, 후자는 능력 수준에 따라 유리한 집단이 뒤바뀌는 더 복잡한 양상을 말합니다. 분석 방법으로는 만텔-헨첼(Mantel-Haenszel) 검정처럼 비교적 간단한 통계 기법부터, 로지스틱 회귀분석, 문항반응이론에 기반한 방법이나 다집단 확인적 요인분석까지 다양하게 쓰이며, 표본 크기와 척도의 성격에 따라 적절한 방법이 달라집니다. DIF가 발견된 문항이라도 실제 능력 차이를 반영하는 것인지, 측정의 편향을 반영하는 것인지 구분하려면 통계적 결과와 함께 문항 내용에 대한 전문가 검토가 병행되어야 합니다.
주의할 점
DIF가 발견되었다고 해서 그 문항이 무조건 편향되었다는 뜻은 아닙니다. 실제로 두 집단 사이에 존재하는 진짜 특성 차이를 반영하는 경우도 있으므로, 통계적 결과만으로 판단하지 않고 전문가의 내용적 검토를 함께 거쳐야 합니다. DIF 분석은 문항반응이론을 기반으로 수행되는 경우가 많습니다.
헷갈리기 쉬운 용어
측정의 공정성과 관련해 자주 섞이는 용어입니다.
| 용어 | 한 줄 설명 |
|---|---|
| 차별적 문항기능 | 같은 수준이어도 집단에 따라 문항 반응이 다른 현상 |
| 측정동일성 | 척도 전체가 집단 사이에서 같은 구조로 측정되는지의 성질 |
| 문항반응이론 | 능력과 문항 반응의 관계를 모형화하는 이론(DIF 분석에 쓰이는 방법 중 하나) |
참고 문헌
- Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361–370.
- Rogers, H. J., & Swaminathan, H. (1993). A comparison of logistic regression and Mantel-Haenszel procedures for detecting differential item functioning. Applied Psychological Measurement, 17(2), 105–116.
- Millsap, R. E., & Everson, H. T. (1993). Methodology review: Statistical approaches for assessing measurement bias. Applied Psychological Measurement, 17(4), 297–334.
- Holland, P. W., & Thayer, D. T. (1986). Differential item functioning and the Mantel-Haenszel procedure. ETS Research Report Series, 1986(2).
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.