차별적 문항기능 (Differential Item Functioning)

한 줄 정의: 동일한 수준의 능력이나 특성을 가진 응답자라도 소속 집단(성별, 인종, 연령 등)에 따라 특정 문항에 정답을 맞힐 확률이 다르게 나타나는 현상입니다.

쉽게 풀면

실력이 똑같은 두 학생이 있다고 해봅시다. 그런데 한 시험 문제가 특정 문화권에서만 흔히 접하는 배경지식을 요구한다면, 그 문화권 학생이 실력과 무관하게 더 잘 맞힐 수 있습니다. 이렇게 "실제 능력은 같은데 소속 집단 때문에 정답률이 달라지는 문항"을 찾아내는 통계적 절차가 바로 DIF 분석입니다. 즉, 시험이나 설문 문항이 특정 집단에게 공정하지 않게 작동하고 있지는 않은지를 점검하는 도구입니다.

왜 중요한가

DIF 분석은 검사와 설문이 특정 집단에게 불리하게 작동하지 않는지를 확인하는 절차로, 대규모 표준화 시험, 국가 간 비교 설문, 임상 척도 개발 등 측정의 공정성이 중요한 모든 연구 분야에서 필수적으로 검토됩니다. 특히 서로 다른 언어나 문화권에서 동일한 척도를 사용해 비교하는 국제비교연구에서는, 번역 과정에서 특정 문항의 의미가 왜곡되었는지를 확인하는 수단으로도 DIF 분석이 활용됩니다. 이 때문에 새로운 검사 도구를 개발하거나 기존 척도를 다른 집단에 적용하는 논문에서는 타당도 검증의 한 절차로 DIF 분석 결과가 자주 보고됩니다.

논문에서는 이렇게 쓰입니다

"문항반응이론을 이용해 DIF 분석을 실시한 결과, 3번 문항에서 성별에 따른 유의한 차별적 문항기능이 확인되었다."

이 문장은 남녀 응답자의 전체 능력 수준이 같더라도, 3번 문항에서만큼은 남녀 간 정답률 차이가 우연이라고 보기 어려울 만큼 크게 나타났다는 뜻입니다. 이런 문항은 수정하거나 삭제하는 것이 검토됩니다.

"우울 척도를 노인과 청년 집단에 적용한 결과, 신체 증상 관련 문항에서 연령에 따른 DIF가 발견되어 척도의 연령 간 비교가능성에 대한 추가 검토가 필요함을 시사하였다."

임상심리 척도 연구에서는 서로 다른 연령대나 임상집단 사이에서 특정 문항이 동일한 심리적 특성을 다르게 측정하고 있지는 않은지 확인하기 위해 DIF 분석을 수행합니다.

"국가 간 비교를 위해 번역된 삶의 만족도 척도에 대해 다집단 문항반응이론 모형으로 DIF를 검증한 결과, 일부 문항에서 번역 과정에서의 의미 차이로 추정되는 차별기능이 나타났다."

국제비교연구에서는 번역된 척도 문항이 문화권마다 다르게 해석될 가능성을 점검하는 데 DIF 분석이 활용됩니다.

조금 더 깊게 보면

DIF는 크게 균일적 DIF(uniform DIF)와 비균일적 DIF(non-uniform DIF)로 구분되는데, 전자는 능력 수준 전반에 걸쳐 한 집단이 일관되게 유리하거나 불리한 경우이고, 후자는 능력 수준에 따라 유리한 집단이 뒤바뀌는 더 복잡한 양상을 말합니다. 분석 방법으로는 만텔-헨첼(Mantel-Haenszel) 검정처럼 비교적 간단한 통계 기법부터, 문항반응이론에 기반한 로지스틱 회귀분석이나 다집단 확인적 요인분석까지 다양하게 쓰이며, 표본 크기와 척도의 성격에 따라 적절한 방법이 달라집니다. DIF가 발견된 문항이라도 실제 능력 차이를 반영하는 것인지, 측정의 편향을 반영하는 것인지 구분하려면 통계적 결과와 함께 문항 내용에 대한 전문가 검토가 병행되어야 합니다.

주의할 점

DIF가 발견되었다고 해서 그 문항이 무조건 편향되었다는 뜻은 아닙니다. 실제로 두 집단 사이에 존재하는 진짜 특성 차이를 반영하는 경우도 있으므로, 통계적 결과만으로 판단하지 않고 전문가의 내용적 검토를 함께 거쳐야 합니다. DIF 분석은 문항반응이론을 기반으로 수행되는 경우가 많습니다.