절단점설정법 (Cutoff Score Setting)
쉽게 풀면
자격시험에서 100점 만점에 몇 점부터 합격시킬지, 혹은 우울 척도에서 몇 점 이상이면 "임상적으로 유의미한 우울"로 볼지는 누군가 정해야 합니다. 이 기준선을 정하는 작업이 절단점설정법입니다.
대표적인 방법으로는 여러 전문가가 "이 문항을 겨우 합격할 만한 사람이 맞힐 확률"을 각각 추정해 평균 내는 앤고프(Angoff) 방법이 있고, 그 외에도 실제 임상 진단군과 정상군의 점수 분포가 가장 잘 갈리는 지점을 통계적으로 찾는 방법도 널리 쓰입니다.
절단점을 어떻게 정하느냐에 따라 같은 점수를 받은 사람도 합격/불합격, 정상/위험군이 완전히 달라질 수 있습니다.
왜 중요한가
절단점설정법은 자격시험 합격 여부, 임상 척도의 정상/위험군 판정, 선별검사의 재진 여부 등 실제 의사결정으로 직결되는 기준을 만드는 절차이기 때문에, 검사 개발과 타당화를 다루는 논문에서 신뢰도·타당도 검증만큼 비중 있게 다뤄집니다.
절단점을 어떤 방법과 근거로 정했는지가 명확하지 않으면 그 검사의 실무 활용 자체가 논쟁의 대상이 될 수 있어, 방법론의 투명한 보고가 특히 강조됩니다. 또한 절단점 설정 방식에 따라 민감도와 특이도 같은 진단적 성능 지표도 함께 달라지므로, 검사 성능을 평가하는 연구와도 밀접하게 연결됩니다.
어떤 절차인가
크게 판단 중심과 자료 중심 두 갈래입니다.
Angoff 방법(Angoff, 1971): 전문가 패널이 문항마다 “겨우 합격할 수준의 사람이 맞힐 확률”을 추정하고, 문항별 평균을 모두 더한 값이 절단점이 됩니다. (가상) 판정자 5명이 문항 4개를 추정했습니다.
| 판정자 | 문항 1 | 문항 2 | 문항 3 | 문항 4 |
|---|---|---|---|---|
| 1 | .6 | .7 | .5 | .8 |
| 2 | .5 | .6 | .5 | .7 |
| 3 | .7 | .8 | .6 | .8 |
| 4 | .6 | .6 | .4 | .7 |
| 5 | .5 | .7 | .5 | .9 |
| 평균 | .58 | .68 | .50 | .78 |
절단점은 .58 + .68 + .50 + .78 = 2.54점(4점 만점의 63.5%)입니다(코드로 계산). 북마크 방법 등 다른 판단 중심 방법도 있습니다(Cizek & Bunch, 2007).
언제 쓰고 무엇을 얻나
자료 중심 방법의 예로 ROC 곡선과 Youden 지수(J = 민감도 + 특이도 − 1)가 있습니다(Youden, 1950; Fluss 등, 2005). (가상) 환자 30명과 비환자 70명에게 검사 점수가 절단점 이상이면 양성으로 판정했습니다.
| 절단점 | 민감도 | 특이도 | J |
|---|---|---|---|
| 8 | .900 | .571 | .471 |
| 9 | .833 | .743 | .576 |
| 10 | .733 | .857 | .590 |
| 11 | .567 | .929 | .495 |
| 12 | .400 | .971 | .371 |
J가 가장 큰 절단점은 10입니다(코드로 계산). 그러나 선별검사는 놓침을 줄이려고 민감도를 더 중시해 8~9를, 확진 용도라면 특이도를 중시해 11~12를 고를 수 있어 목적에 따라 같은 자료에서도 선택이 달라집니다. 판단 중심 방법은 합격·자격처럼 기준이 가치 판단일 때, 자료 중심 방법은 진단 정확도가 핵심일 때 어울립니다.
논문에는 이렇게 적는다
- 판단 중심: 패널 구성(인원, 전문성), 훈련과 ‘경계 수준’의 정의, 라운드 수, 문항 통계 제공 여부, 최종값과 불확실성(패널 평균의 표준오차 등)을 적습니다.
- 자료 중심: 표본, 기준 표준(무엇을 진단의 정답으로 삼았는지), 민감도·특이도·AUC, 절단점 선택 기준(Youden, 비용 가중)을 적습니다.
- 다른 표본에서의 교차 검증이나 재현 여부를 제시하면 신뢰가 높아집니다.
- 절단점은 하나의 추정이며 표본과 방법에 의존한다는 점을 한계로 서술합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "전문가 8명이 각 문항의 통과 확률을 판단한 값을 평균 내어, 16점을 합격과 불합격을 가르는 기준으로 정했다"는 뜻입니다.
실제로 우울증 진단을 받은 집단과 그렇지 않은 집단의 점수 분포를 비교해, 두 집단을 가장 잘 구분해내는 점수를 통계적으로 찾아냈다는 뜻이다.
시험 문항을 쉬운 것부터 어려운 것 순서로 늘어놓고, 심사위원단이 "여기까지는 합격 수준"이라고 표시한 지점을 기준 점수로 삼았다는 뜻이다.
조금 더 깊게 보면
절단점설정법은 크게 판단 중심 방법(전문가의 주관적 평정에 기반, 앤고프법·북마크법 등)과 자료 중심 방법(실제 검사 점수 분포에 기반, ROC 곡선 분석 등)으로 나뉘며, 두 접근을 함께 사용해 결과를 교차 검증하는 경우도 흔합니다.
자료 중심 방법에서는 절단점 선택에 따라 민감도(진짜 위험군을 놓치지 않는 정도)와 특이도(정상군을 오분류하지 않는 정도)가 서로 상충하는 관계를 보이므로, 어느 쪽에 더 무게를 둘지는 검사의 목적(선별 검사인지 확진 검사인지)에 따라 달라집니다.
절단점은 표본과 시점에 따라 변할 수 있어, 다른 집단이나 새로운 자료에서 재검증하는 절차도 함께 보고되는 경우가 많습니다.
주의할 점
절단점은 절대적인 진리가 아니라 특정 방법과 표본에 근거해 산출된 하나의 추정치입니다. 같은 검사라도 절단점을 어떻게 설정하느냐에 따라 합격률이나 선별 대상자 수가 크게 달라질 수 있으므로, 논문에서는 절단점 산출 방법과 그 근거를 반드시 함께 밝혀야 합니다.
헷갈리기 쉬운 용어
절단점을 정하는 대표적인 방법입니다.
| 방법 | 근거 | 잘 맞는 상황 |
|---|---|---|
| 앵고프 방법 | 전문가의 문항별 확률 판단 | 자격시험의 합격선 |
| 북마크 방법 | 난이도 순으로 나열한 문항 책에 전문가가 표시 | 여러 수준(등급)을 한 번에 정할 때 |
| ROC 곡선·Youden 지수 | 민감도·특이도 자료 | 진단·선별 검사 |
참고 문헌
- Angoff, W. H. (1971). Scales, norms, and equivalent scores. In R. L. Thorndike (Ed.), Educational Measurement (2nd ed., pp. 508–600). American Council on Education.
- Cizek, G. J., & Bunch, M. B. (2007). Standard Setting: A Guide to Establishing and Evaluating Performance Standards on Tests. SAGE.
- Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3, 32–35.
- Fluss, R., Faraggi, D., & Reiser, B. (2005). Estimation of the Youden index and its associated cutoff point. Biometrical Journal, 47, 458–472.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.