용어 목록 > 잔차분석 (residual analysis)

잔차분석 (residual analysis)

통계
한 줄 정의: 회귀모형이 예측하지 못하고 남긴 오차인 잔차를 들여다봐서, 그 모형이 세운 가정(선형성, 등분산성, 독립성, 정규성 등)을 실제로 잘 지키고 있는지 점검하는 작업입니다.

쉽게 풀면

시험 채점 후 예상 점수와 실제 점수의 차이(오차)를 모아 살펴본다고 해봅시다. 이 차이들이 특별한 규칙 없이 무작위로 흩어져 있다면 "채점 기준(모형)이 대체로 잘 맞았다"고 볼 수 있습니다.

그런데 만약 특정 학생 그룹에서만 오차가 유독 크거나, 점수가 높을수록 오차도 점점 커지는 패턴이 보인다면, 애초에 세운 채점 기준 자체에 문제가 있다는 신호입니다. 잔차분석은 바로 이렇게, 회귀모형이 남긴 "예측 못 한 부분"들을 모아 그래프로 그리거나 검정해서, 모형을 그대로 믿어도 되는지 확인하는 과정입니다.

왜 중요한가

회귀모형의 결과 해석과 통계적 검정(p-value, 신뢰구간 등)은 모형의 기본 가정이 성립한다는 전제 위에서만 타당하기 때문에, 잔차분석은 논문에서 모형을 제시한 뒤 결과를 신뢰할 수 있는지를 보이는 필수적인 검증 단계로 다뤄집니다. 가정 위반을 방치한 채 나온 결론은 회귀계수의 유의성 판단 자체를 왜곡할 수 있어, 실험과학과 사회과학을 막론하고 회귀분석을 쓰는 거의 모든 논문에서 다뤄지는 절차입니다.

언제 쓰나

회귀모형을 적합한 뒤 “이 모형을 믿어도 되는가”를 확인할 때 씁니다. 잔차 ei = yi − ŷi에 모형이 설명하지 못한 구조가 남아 있는지를 봅니다. 계수의 p값을 해석하기 전에 하는 점검이며, 선형회귀뿐 아니라 일반화선형모형(편차잔차 등), 분산분석에도 적용됩니다.

결과는 이렇게 읽는다

그림이 검정보다 먼저입니다. 아래는 자주 보는 패턴입니다.

잔차–예측값 그림의 모양의심되는 문제대응
U자·곡선 모양선형성 위반(모형 형태 오류)제곱항, 변환, 비선형 모형
깔때기(오른쪽으로 퍼짐·좁아짐)이분산성변환, 가중최소제곱, 강건 표준오차
시간순 그림에서 물결·연속된 부호자기상관자기상관 모형, 시계열 모형
한두 점이 멀리 떨어짐이상치입력 오류 확인, 영향력 진단 후 판단
무작위로 0 주변에 고르게큰 문제 없음—

원잔차보다 스튜던트화(표준화) 잔차 ri = ei / (s·√(1 − hii))를 보는 것이 공정합니다. hii는 레버리지로, 레버리지가 큰 점은 원잔차가 작게 나오기 때문입니다. 관례상 |ri|가 2를 넘으면 눈여겨보고 3을 넘으면 이상치 후보로 봅니다(정규 오차에서도 약 5%는 2를 넘으므로 절대 기준이 아닙니다).

(가상의 예, 직접 계산) 8개 점에 직선을 맞추면 ŷ = 0.78 + 1.75x, 잔차 표준편차 s = 0.99입니다. 마지막 점(x = 8, y = 13.0)의 원잔차는 -1.82, 레버리지 h = 0.42, 표준화 잔차는 -2.40로 가장 눈에 띕니다. 점 하나만으로 모형을 버리지는 않고, 이 값이 입력 오류인지 아니면 y가 x = 8 부근에서 꺾이는 신호인지 확인합니다.

논문에는 이렇게 보고한다

논문에는 어떤 가정을 어떤 그림과 검정으로 확인했는지를 짧게 적습니다. 그림은 부록으로 돌려도 됩니다. (수치는 형식을 보여 주는 가상의 값입니다.)

잔차의 정규 Q–Q 그림과 잔차–예측값 그림을 확인한 결과 선형성과 등분산성에 뚜렷한 위반은 없었다. Durbin–Watson 통계량은 1.98이었고, 표준화 잔차의 절댓값이 3을 넘는 관측치는 없었다(최댓값 2.41). Cook의 거리는 모두 1 미만이었다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"잔차분석(residual analysis) 결과, 잔차 산점도에서 뚜렷한 패턴이 관찰되지 않아 등분산성 가정이 충족됨을 확인하였다."

이 문장은 "예측값과 잔차를 그래프로 그려봤더니 오차의 퍼짐 정도가 고르게 흩어져 있어서, 회귀모형이 전제하는 조건 중 하나(분산이 일정하다는 가정)가 잘 지켜지고 있었다"는 뜻입니다.

"시계열 회귀모형의 잔차에 대해 더빈-왓슨 검정을 실시한 결과 통계량이 2에 근접하여 잔차 간 자기상관이 유의하지 않은 것으로 나타났다."

경제 시계열 분석처럼 관측치가 시간 순서를 가질 때는 잔차끼리 서로 영향을 주고받는지(자기상관)를 확인하는 것이 특히 중요하며, 더빈-왓슨 검정이 그 대표적인 도구로 쓰입니다.

"다중회귀모형의 잔차 Q-Q 플롯이 대각선에서 크게 벗어나 정규성 가정이 의심되어, 반응변수에 로그 변환을 적용한 뒤 잔차분석을 재수행하였다."

잔차분석 결과 가정이 위반되었을 때 변수 변환 등의 조치를 취하고 다시 검토하는 일련의 과정을 보여주는 예시로, 잔차분석이 모형 개선의 출발점이 되는 경우입니다.

조금 더 깊게 보면

잔차분석에서는 원래 잔차를 그대로 쓰기보다 표준화잔차나 스튜던트화잔차처럼 분산을 보정한 형태로 변환해 이상치를 더 공정하게 비교하는 경우가 많습니다. 또한 특정 관측치 하나가 회귀계수 추정에 지나치게 큰 영향을 미치는지를 살펴보는 쿡의 거리와 같은 영향력 진단 지표도 잔차분석과 함께 자주 다뤄지는데, 이는 잔차가 크다고 해서 반드시 그 관측치가 결과를 왜곡시킨다는 뜻은 아니며, 반대로 잔차가 작아도 지렛대점(leverage point)처럼 모형 전체에 큰 영향을 주는 경우가 있기 때문입니다.

주의할 점

잔차분석은 한 가지 그림이나 지표만으로 끝나지 않습니다. 예측값이 커짐에 따라 잔차의 흩어진 폭이 달라지면(깔때기 모양) 등분산성이 깨진 것이고(브로이시-파간 검정으로 확인), 시간 순서에 따라 잔차끼리 비슷하게 움직이면 독립성이 깨진 것이며, 잔차의 분포가 대각선에서 크게 벗어나면 정규성이 깨진 것입니다. 이 중 하나만 확인하고 모형이 문제없다고 단정해서는 안 됩니다.

헷갈리기 쉬운 용어

잔차에 대한 용어가 여럿이라 자주 섞입니다.

용어무엇인가용도
잔차 분석잔차로 모형 가정을 점검하는 절차가정 위반 진단
표준화 잔차잔차를 표준편차(와 레버리지)로 나눈 값이상치 비교
쿡의 거리한 관측치를 빼면 추정값이 얼마나 변하는지영향점 진단(잔차 + 레버리지)
브로이시–파간 검정이분산성 검정등분산성 확인
더빈–왓슨 검정1차 자기상관 검정독립성 확인

참고 문헌

  1. Anscombe, F. J., & Tukey, J. W. (1963). The examination and analysis of residuals. Technometrics, 5(2), 141–160.
  2. Anscombe, F. J. (1973). Graphs in statistical analysis. The American Statistician, 27(1), 17–21.
  3. Cook, R. D., & Weisberg, S. (1982). Residuals and Influence in Regression. Chapman & Hall.
  4. Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. Wiley.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

개념 계통

하위 개념
표준화잔차

분야 전체 개념 지도 보기 →

관련 용어

더빈-왓슨 검정 브로이시-파간 검정 쿡의 거리 회귀분석 상관관계 로지스틱 회귀 다중공선성 등분산성과 이분산성