수직척도화 (Vertical Scaling)
한 줄 정의: 학년이 다른 검사 점수를 하나의 연속 척도 위에 올려 비교하게 만드는 절차입니다.
쉽게 풀면
수직척도화는 3학년 시험과 5학년 시험처럼 난이도와 내용이 다른 검사들의 점수를 같은 자로 잰 것처럼 바꾸는 작업입니다. 학년이 겹치도록 공통 문항을 끼워 넣고, 그 문항들을 다리 삼아 서로 다른 검사의 점수를 하나의 척도로 연결합니다. 그러면 "3학년 때 200점이던 학생이 5학년 때 260점이 되었다"처럼 성장 폭을 숫자로 말할 수 있습니다.
왜 중요한가
학생의 성장을 추적하는 평가 정책은 모두 이 척도가 있어야 성립합니다. 성장참조평가나 학업성취도의 학년별 추이 분석, 학습 결손의 크기 추정이 모두 수직척도 위에서 이루어지기 때문에, 대규모 학업성취도 평가 설계 논문에서 핵심 절차로 다뤄집니다.
논문에서는 이렇게 쓰입니다
"공통문항 설계를 적용해 3~6학년 읽기 검사를 수직척도화하고 학년별 평균 성장량과 성장량의 분산을 추정하였다."
조금 더 깊게 보면
수직척도화는 보통 문항반응이론을 기반으로 하며, 공통문항 비동등집단 설계나 척도화 검사 설계를 통해 학년 간 연결고리를 만듭니다. 연결 방법(동시추정 대 분리추정), 능력 모수의 척도 변환 방식에 따라 성장량 추정치가 달라진다는 점이 반복해서 보고되며, 학년이 올라갈수록 성장 폭이 줄어드는 감속 성장 패턴이 척도의 성질 때문인지 실제 현상인지를 둘러싼 논쟁도 있습니다.
주의할 점
검사동등화가 같은 난이도·같은 내용을 재는 동형 검사들의 점수를 맞바꿀 수 있게 만드는 작업이라면, 수직척도화는 난이도와 내용이 의도적으로 다른 학년별 검사를 하나의 발달 척도로 잇는 작업입니다. 따라서 수직척도 점수는 엄밀한 의미의 동등한 점수가 아니라 해석을 위한 연결 척도로 보아야 합니다.