앙고프 방법 (Angoff Method)

한 줄 정의: 전문가가 문항별 최소 능력자의 정답 확률을 추정해 합격선을 정하는 준거설정 기법입니다.

쉽게 풀면

앙고프 방법은 시험의 합격 점수를 어떻게 정할지 결정하는 절차입니다. 여러 전문가가 모여 "간신히 합격할 수준의 학생이라면 이 문항을 맞힐 확률이 얼마나 될까"를 문항마다 추정하고, 그 확률을 모두 더해 한 사람의 합격선 추정치를 만듭니다. 여러 전문가의 추정치를 평균한 값이 최종 분할점수가 됩니다.

왜 중요한가

준거참조평가에서는 몇 점부터 합격인지가 결과를 좌우하는데, 이 경계선은 자료만으로 저절로 나오지 않습니다. 앙고프 방법은 전문가 판단을 구조화된 절차로 모아 분할점수를 정당화하는 대표적 방법이라, 자격시험과 성취수준 설정 연구에서 표준처럼 인용됩니다.

논문에서는 이렇게 쓰입니다

"성취수준 설정을 위해 교과 전문가 12명을 대상으로 수정 앙고프 방법을 2라운드로 적용하고 라운드 간 평정자 일치도를 산출하였다."

조금 더 깊게 보면

실제 연구에서는 1라운드 평정 뒤 문항별 실제 정답률과 다른 평정자의 값을 제공하고 다시 평정하게 하는 수정 앙고프 절차가 널리 쓰입니다. 전문가가 '최소 능력자'를 어떻게 머릿속에 그리느냐에 따라 결과가 달라지므로, 사전 훈련과 최소 능력자 기술문 작성이 중요한 절차로 취급됩니다. 북마크 방법 등 다른 준거설정 기법과 결과를 비교하는 연구도 많습니다.

주의할 점

앙고프 방법은 합격선을 정하는 절차일 뿐, 그 점수가 절대적으로 옳음을 보장하지는 않습니다. 문항난이도가 문항의 통계적 속성을 사후에 계산한 값이라면, 앙고프 평정치는 전문가가 사전에 추정한 주관적 확률이라는 점에서 다릅니다.