호스머-레메쇼 검정 (Hosmer-Lemeshow Test)

한 줄 정의: 로지스틱 회귀의 예측확률과 실제 관측 비율이 얼마나 맞는지 보는 적합도 검정입니다.

쉽게 풀면

예측확률이 낮은 사람부터 높은 사람까지 줄을 세운 뒤 보통 10개 집단으로 나눕니다. 각 집단에서 모형이 예상한 사건 수와 실제 사건 수를 비교해 그 차이를 카이제곱 통계량으로 합칩니다. 차이가 작아 p값이 크면 모형의 예측확률이 관측과 잘 맞는다고 봅니다.

왜 중요한가

로지스틱 회귀 논문에서 판별력 지표인 AUC와 함께 보정을 보고하는 관행이 자리 잡으면서 널리 쓰입니다. 예측모형의 확률값을 실제 의사결정에 쓸 때는 순위를 잘 매기는지뿐 아니라 확률 자체가 맞는지가 중요하기 때문입니다.

논문에서는 이렇게 쓰입니다

"호스머-레메쇼 검정 결과 p=0.42로 모형의 적합도에 문제가 없는 것으로 나타났다."

p값이 크다는 것은 예측확률과 관측 비율의 불일치가 통계적으로 뚜렷하지 않다는 뜻입니다.

조금 더 깊게 보면

이 검정은 집단 수를 어떻게 정하느냐에 따라 통계량과 p값이 달라져 결과가 불안정할 수 있습니다. 또 표본이 매우 크면 실질적으로 작은 불일치도 유의하게 나오고, 표본이 작으면 검정력이 낮아 어떤 모형이든 통과합니다. 이런 한계 때문에 최근 예측모형 연구에서는 검정의 p값만 제시하기보다 보정 그림이나 보정 기울기·절편 같은 연속적인 지표를 함께 보고하도록 권고합니다.

주의할 점

귀무가설이 "모형이 잘 맞는다"이므로 p값이 크다고 해서 모형이 옳다고 증명된 것은 아니며, 단지 불일치의 증거가 부족하다는 뜻입니다. 또 이 검정은 보정만 보며 AUC가 보는 판별력과는 다른 성질이라는 점을 구분해야 합니다.