표준설정 (Standard Setting)

한 줄 정의: 시험 점수를 합격·불합격이나 등급으로 나누는 기준점(컷점수)을 전문가 판단에 근거해 체계적인 절차로 정하는 방법입니다.

쉽게 풀면

자격시험에서 "몇 점 이상이면 합격"이라는 기준선은 누군가 임의로 정하는 것이 아닙니다. 표준설정은 해당 분야의 전문가들을 모아, "간신히 합격할 수준의 응시자라면 이 문항을 맞힐 확률이 얼마나 될까?"를 문항 하나하나마다 판단하게 하고, 그 판단들을 종합해 합격선을 통계적으로 도출하는 절차입니다. 대표적인 방법인 앙고프 방법(Angoff Method)에서는 여러 전문가가 각 문항에 대해 독립적으로 확률을 추정한 뒤 그 평균을 컷점수로 사용합니다. 이렇게 정해진 기준점은 근거 없이 정한 숫자가 아니라, 전문가 합의를 거친 방어 가능한 기준이 됩니다.

왜 중요한가

합격선이 어떻게 정해졌는지는 시험의 공정성과 법적 방어 가능성을 좌우하는 핵심 문제입니다. 표준설정 절차가 불투명하면 특정 집단에 불리하게 작용했다는 이의 제기가 발생할 수 있고, 반대로 체계적인 절차를 거치면 합격선의 타당성을 근거로 제시할 수 있습니다. 이 때문에 교육평가, 자격인증, 의료면허시험 등 컷점수가 사람의 진로를 가르는 분야의 논문에서 표준설정 방법론이 중요하게 다뤄집니다.

논문에서는 이렇게 쓰입니다

"자격시험의 합격 기준점은 15명의 전문가 패널을 대상으로 한 앙고프 방법을 통해 표준설정 절차를 거쳐 산출되었다."

이 문장은 합격선이 사후에 임의로 조정된 것이 아니라, 사전에 정해진 전문가 판단 절차를 통해 도출되었다는 뜻입니다.

"의료면허 필기시험의 컷점수는 북마크 방법(Bookmark Method)을 적용하여 문항 난이도 순으로 배열된 검사지에서 전문가들이 경계 지점을 표시하는 방식으로 결정되었다."

문항을 쉬운 것부터 어려운 순서로 배열한 뒤, 전문가들이 "여기부터는 합격 수준 응시자가 맞히기 어렵다"고 느끼는 지점을 표시하게 해서 컷점수를 정했다는 뜻입니다.

"교사 자격 평가에서는 컨투어링 방법(Contrasting Groups Method)을 활용해 이미 합격/불합격으로 분류된 응시자 집단의 점수 분포를 근거로 기준점을 설정하였다."

전문가의 사전 판단이 아니라, 실제로 능력이 있다고 이미 알려진 집단과 그렇지 않은 집단의 점수 분포 차이를 이용해 기준점을 도출했다는 의미입니다.

조금 더 깊게 보면

표준설정 방법은 크게 문항 중심 방법(앙고프, 북마크 등)과 피험자 중심 방법(컨트래스팅 그룹 방법 등)으로 나뉘며, 어떤 방법을 쓰느냐에 따라 도출되는 컷점수가 달라질 수 있습니다. 절차의 신뢰도를 높이기 위해 여러 라운드에 걸쳐 전문가 판단을 조정하는 델파이(Delphi) 방식의 피드백 과정을 병행하기도 하며, 최종적으로는 패널 간 판단의 일관성을 나타내는 지표로 절차의 신뢰성을 점검하는 것이 일반적입니다.

주의할 점

표준설정으로 정해진 컷점수는 참여한 전문가 패널의 구성과 판단 기준에 따라 달라질 수 있어, 패널이 바뀌면 같은 시험이라도 합격선이 달라질 위험이 있습니다. 그래서 준거참조평가에서는 패널 선정 기준과 절차를 투명하게 공개하고, 여러 라운드에 걸쳐 판단을 조정하는 과정을 거치는 것이 중요합니다.