잔차분석 (residual analysis)
쉽게 풀면
시험 채점 후 예상 점수와 실제 점수의 차이(오차)를 모아 살펴본다고 해봅시다. 이 차이들이 특별한 규칙 없이 무작위로 흩어져 있다면 "채점 기준(모형)이 대체로 잘 맞았다"고 볼 수 있습니다. 그런데 만약 특정 학생 그룹에서만 오차가 유독 크거나, 점수가 높을수록 오차도 점점 커지는 패턴이 보인다면, 애초에 세운 채점 기준 자체에 문제가 있다는 신호입니다. 잔차분석은 바로 이렇게, 회귀모형이 남긴 "예측 못 한 부분"들을 모아 그래프로 그리거나 검정해서, 모형을 그대로 믿어도 되는지 확인하는 과정입니다.
왜 중요한가
회귀모형의 결과 해석과 통계적 검정(p-value, 신뢰구간 등)은 모형의 기본 가정이 성립한다는 전제 위에서만 타당하기 때문에, 잔차분석은 논문에서 모형을 제시한 뒤 결과를 신뢰할 수 있는지를 보이는 필수적인 검증 단계로 다뤄집니다. 가정 위반을 방치한 채 나온 결론은 회귀계수의 유의성 판단 자체를 왜곡할 수 있어, 실험과학과 사회과학을 막론하고 회귀분석을 쓰는 거의 모든 논문에서 다뤄지는 절차입니다.
논문에서는 이렇게 쓰입니다
이 문장은 "예측값과 잔차를 그래프로 그려봤더니 오차의 퍼짐 정도가 고르게 흩어져 있어서, 회귀모형이 전제하는 조건 중 하나(분산이 일정하다는 가정)가 잘 지켜지고 있었다"는 뜻입니다.
경제 시계열 분석처럼 관측치가 시간 순서를 가질 때는 잔차끼리 서로 영향을 주고받는지(자기상관)를 확인하는 것이 특히 중요하며, 더빈-왓슨 검정이 그 대표적인 도구로 쓰입니다.
잔차분석 결과 가정이 위반되었을 때 변수 변환 등의 조치를 취하고 다시 검토하는 일련의 과정을 보여주는 예시로, 잔차분석이 모형 개선의 출발점이 되는 경우입니다.
조금 더 깊게 보면
잔차분석에서는 원래 잔차를 그대로 쓰기보다 표준화잔차나 스튜던트화잔차처럼 분산을 보정한 형태로 변환해 이상치를 더 공정하게 비교하는 경우가 많습니다. 또한 특정 관측치 하나가 회귀계수 추정에 지나치게 큰 영향을 미치는지를 살펴보는 쿡의 거리와 같은 영향력 진단 지표도 잔차분석과 함께 자주 다뤄지는데, 이는 잔차가 크다고 해서 반드시 그 관측치가 결과를 왜곡시킨다는 뜻은 아니며, 반대로 잔차가 작아도 지렛대점(leverage point)처럼 모형 전체에 큰 영향을 주는 경우가 있기 때문입니다.
주의할 점
잔차분석은 한 가지 그림이나 지표만으로 끝나지 않습니다. 잔차가 특정 값 범위에서 한쪽으로 치우치면 등분산성이 깨진 것이고(브로이시-파간 검정으로 확인), 시간 순서에 따라 잔차끼리 비슷하게 움직이면 독립성이 깨진 것이며, 잔차의 분포가 대각선에서 크게 벗어나면 정규성이 깨진 것입니다. 이 중 하나만 확인하고 모형이 문제없다고 단정해서는 안 됩니다.