모델 보정 (model calibration)
한 줄 정의: 모델이 내놓은 확신도가 실제 정답률과 일치하도록 맞추는 작업입니다.
쉽게 풀면
모델이 “90% 확신한다”고 말한 예측 100건 중 실제로 90건쯤 맞아야 그 확률값을 믿을 수 있습니다. 그런데 깊은 신경망은 대체로 실제보다 더 확신하는 버릇이 있어서, 90%라고 말하고 70%만 맞히는 일이 흔합니다. 모델 보정은 이 어긋남을 측정하고 확률값을 다시 다듬는 과정입니다.
왜 중요한가
확률값이 의사결정의 근거가 되는 분야에서는 순위를 잘 매기는 것만으로 부족하고 숫자 자체가 믿을 만해야 합니다. 임상 예측 모형이나 위험도 산정에서 보정이 무너지면 잘못된 임계값 설정으로 이어지기 때문입니다. 그래서 정확도와 함께 보정 지표를 나란히 보고하는 관행이 자리 잡고 있습니다.
논문에서는 이렇게 쓰입니다
"온도 스케일링 적용 후 기대 보정 오차가 0.081에서 0.017로 감소하여 예측 확률의 신뢰성이 개선되었다."
후처리로 확률값을 다듬자 모델이 말한 확신도와 실제 정답률의 차이가 크게 줄었다는 뜻입니다.
조금 더 깊게 보면
평가에는 예측 확률을 구간으로 나눠 구간별 평균 확신도와 실제 정확도의 차이를 가중 평균한 기대 보정 오차, 그리고 보정 곡선(신뢰도 도표)이 널리 쓰입니다. 보정 기법으로는 검증 데이터에서 로짓을 하나의 온도 값으로 나누는 온도 스케일링, 로지스틱 회귀를 덧씌우는 플랫 스케일링, 단조 회귀를 쓰는 등온 회귀가 대표적입니다. 보정은 대개 순위를 바꾸지 않으므로 AUC는 유지된 채 확률값의 신뢰성만 개선되는 경우가 많습니다.
주의할 점
보정이 잘 되었다는 것이 판별력이 좋다는 뜻은 아니어서, 항상 전체 유병률을 답하는 무의미한 모델도 보정만은 완벽할 수 있습니다. 혼동행렬 기반 지표가 임계값에서의 분류 성능을 보는 것과 달리, 보정은 확률값 자체의 정직성을 다룹니다.