문항은행 (Item Bank)

한 줄 정의: 난이도와 변별도 등 통계적 특성이 미리 분석되어 있는 문항들을 대량으로 모아둔 저장소로, 검사를 만들거나 실시간으로 문항을 골라 낼 때 사용됩니다.

쉽게 풀면

시험 문제를 낼 때마다 매번 새로 문항을 만들고 그 문항이 쉬운지 어려운지 처음부터 다시 확인해야 한다면 너무 비효율적입니다. 그래서 연구자들은 미리 수백~수천 개의 문항을 만들어두고, 각 문항이 얼마나 어려운지(난이도), 실력 차이를 얼마나 잘 구분하는지(변별도)를 통계적으로 분석해 하나의 데이터베이스로 정리해둡니다. 이것이 문항은행입니다. 새 검사를 구성할 때는 이 은행에서 필요한 난이도와 특성을 가진 문항들을 골라 조합하면 되고, 컴퓨터 적응검사처럼 응시자의 실력에 맞춰 실시간으로 다음 문항을 골라주는 시스템도 이 문항은행을 기반으로 작동합니다.

왜 중요한가

문항은행은 표준화된 검사를 지속적으로 운영하려는 교육측정·심리측정 연구의 인프라 역할을 합니다. 대규모 학업성취도 평가나 컴퓨터 적응검사처럼 매번 다른 문항 조합으로 검사를 실시하면서도 결과를 서로 비교 가능하게 만들려면, 문항 특성이 미리 정밀하게 추정되어 있는 문항은행이 필수적입니다. 그래서 검사 개발과 타당도 연구에서 자주 다뤄지는 개념입니다.

논문에서는 이렇게 쓰입니다

"본 연구에서 개발한 문항은행은 문항반응이론에 기반해 총 320개 문항의 난이도와 변별도 모수를 추정하였다."

이 문장은 "320개의 문항 각각에 대해 얼마나 어려운지, 실력을 얼마나 잘 구분하는지를 통계적으로 계산해 데이터베이스로 만들었다"는 뜻입니다.

"기존 문항은행에 새로 개발된 문항을 등가화 절차를 거쳐 통합함으로써 검사의 문항 풀을 확장하였다."

검사 개발 연구에서는 새 문항을 기존 문항은행과 같은 척도로 맞추는 등가화 작업을 거쳐 은행을 지속적으로 확장하는 절차가 흔히 보고됩니다.

"컴퓨터 적응검사 시스템은 응시자의 능력 추정치에 따라 문항은행에서 다음 문항을 실시간으로 선택하도록 설계되었다."

적응형 검사 연구에서는 문항은행이 실시간 문항 선택 알고리즘의 기반 자료로 활용되는 방식이 설명됩니다.

조금 더 깊게 보면

문항은행을 운영하려면 새 문항을 기존 문항과 같은 척도 위에 놓는 등가화(equating) 작업이 필요하며, 이는 흔히 공통 문항이나 공통 응시자 집단을 매개로 이루어집니다. 또한 시간이 지나며 문항의 난이도가 실제로 변하는 문항 표류(item drift) 현상이 발생할 수 있어, 주기적으로 문항 모수를 재추정하는 절차가 함께 요구되는 경우가 많습니다. 문항은행의 품질은 결국 그 안에 포함된 개별 문항들의 통계적 추정치가 얼마나 안정적인가에 좌우됩니다.

주의할 점

문항은행에 포함된 문항들의 통계치는 표본에 따라 달라질 수 있으므로, 문항은행을 다른 집단(연령, 문화권 등)에 그대로 적용하기 전에는 차별적 문항기능 검증을 통해 특정 집단에서 편향되게 작동하지 않는지 반드시 확인해야 합니다.