보정 그림 (Calibration Plot)
한 줄 정의: 예측확률과 실제 발생 비율이 얼마나 일치하는지 그림으로 확인하는 진단 도구입니다.
쉽게 풀면
가로축에 모형이 내놓은 예측확률, 세로축에 그 확률대에서 실제로 사건이 일어난 비율을 그립니다. 예측이 정확하다면 점들이 기울기 1의 대각선 위에 놓입니다. 선이 대각선 아래로 처지면 위험을 과대예측한 것이고, 위로 솟으면 과소예측한 것입니다.
왜 중요한가
예측모형을 실제 진료나 정책 결정에 쓰려면 "이 사람의 위험이 20%"라는 숫자 자체가 믿을 만해야 합니다. 순위만 보는 판별력 지표로는 이를 알 수 없기 때문에 예측모형 보고 지침에서 보정 그림 제시를 권고합니다.
논문에서는 이렇게 쓰입니다
"외부 검증 자료에서 보정 기울기는 0.82, 보정 절편은 0.11로 나타나 모형이 위험을 다소 과대예측하는 경향을 보였다."
예측확률이 실제 발생률보다 전반적으로 높게 나왔음을 그림과 요약 지표로 보고한 문장입니다.
조금 더 깊게 보면
보정은 여러 수준으로 나눠 평가합니다. 평균 예측확률과 전체 발생률이 맞는지, 예측이 전체적으로 너무 극단적이지는 않은지(보정 기울기), 예측확률 구간별로 맞는지 등입니다. 요즘은 예측확률을 10분위로 묶어 점을 찍기보다 국소회귀나 스플라인으로 매끄러운 보정곡선을 그리는 방식이 권장됩니다. 새 집단에 모형을 적용할 때 보정이 나빠지면 절편만 다시 맞추거나 기울기까지 재조정하는 재보정을 수행합니다.
주의할 점
여기서 말하는 보정은 측정기기를 표준에 맞추는 교정이나 검량선과는 전혀 다른, 예측확률의 신뢰성 개념입니다. 또 호스머-레메쇼 검정이 p값 하나로 요약하는 것과 달리 어느 구간에서 어긋나는지 눈으로 보여 준다는 점이 다릅니다.