표준화잔차

한 줄 정의: 회귀모형의 잔차(오차)를 표준편차 단위로 환산하여, 서로 다른 관측치의 오차 크기를 같은 기준으로 비교할 수 있게 만든 값입니다.

쉽게 풀면

회귀분석에서 나오는 원래 잔차(실제값 - 예측값)는 변수의 단위에 따라 크기가 제각각입니다. 몸무게(kg) 예측 모형의 잔차 "5"와 소득(원) 예측 모형의 잔차 "5"는 전혀 다른 의미를 가지므로, 이 잔차가 "큰지 작은지"를 그대로 비교할 수 없습니다. 표준화잔차는 각 잔차를 잔차의 표준편차로 나누어, 마치 z-점수처럼 "평균에서 표준편차 몇 개만큼 떨어져 있는가"로 바꿔줍니다. 이렇게 하면 어떤 모형이든 상관없이 절댓값이 대략 2를 넘으면 다소 튀는 값, 3을 넘으면 뚜렷한 이상치로 의심해볼 수 있는 공통 잣대가 생깁니다.

왜 중요한가

회귀모형이 특정 관측치 몇 개에 의해 왜곡되어 있는지를 확인하는 것은 모형의 신뢰성을 점검하는 기본 절차입니다. 표준화잔차는 모형이나 변수 단위에 상관없이 이상치를 판단할 수 있는 공통 잣대를 제공하기 때문에, 회귀분석·분산분석 등 모형 진단이 필요한 거의 모든 통계 논문에서 잔차 검토 단계에 빠지지 않고 등장합니다.

논문에서는 이렇게 쓰입니다

"표준화잔차의 절댓값이 3을 초과하는 두 개의 관측치를 이상치로 판단하여 분석에서 제외하였다."

이 문장은 "잔차를 같은 기준으로 환산했더니 유독 튀는 관측치 두 개가 있어서, 이를 이상치로 보고 분석 대상에서 뺐다"는 뜻입니다.

"산점도와 표준화잔차 플롯을 통해 모형의 등분산성 가정이 충족되는지 시각적으로 점검하였다."

이상치 탐지뿐 아니라 잔차가 예측값 전 범위에 걸쳐 고르게 흩어져 있는지를 눈으로 확인하는 데도 표준화잔차가 활용된다는 예입니다.

"다층모형 분석에서 개체 수준 표준화잔차를 검토한 결과, 특정 집단에서 잔차가 체계적으로 편향되는 패턴은 관찰되지 않았다."

단순 회귀뿐 아니라 다층모형과 같은 복잡한 모형에서도 표준화잔차를 이용해 모형이 특정 하위집단을 잘못 예측하고 있지 않은지 점검한다는 뜻입니다.

조금 더 깊게 보면

표준화잔차와 비슷하지만 조금 더 정교한 지표로 스튜던트화잔차(studentized residual)가 있는데, 이는 해당 관측치 자체가 모형 적합에 미치는 영향을 제거한 뒤 잔차를 표준화한다는 점에서 차이가 있습니다. 잔차 진단은 보통 잔차 대 예측값 산점도, Q-Q 플롯 같은 시각적 도구와 함께 사용되며, 표준화잔차만 단독으로 보기보다는 지렛값(leverage)이나 쿡의 거리 같은 다른 진단 지표와 함께 종합적으로 해석하는 것이 일반적입니다.

주의할 점

표준화잔차가 크다고 해서 그 관측치를 무조건 삭제해서는 안 됩니다. 자료 입력 오류가 아니라 실제로 존재하는 극단적인 사례일 수도 있으므로, 쿡의 거리 등 다른 진단 지표와 함께 종합적으로 판단해야 합니다.