용어 목록 > 표준화잔차

표준화잔차

쉽게 풀면

회귀분석에서 나오는 원래 잔차(실제값 - 예측값)는 변수의 단위에 따라 크기가 제각각입니다. 몸무게(kg) 예측 모형의 잔차 "5"와 소득(원) 예측 모형의 잔차 "5"는 전혀 다른 의미를 가지므로, 이 잔차가 "큰지 작은지"를 그대로 비교할 수 없습니다.

표준화잔차는 각 잔차를 잔차의 표준편차로 나누어, 마치 z-점수처럼 "평균에서 표준편차 몇 개만큼 떨어져 있는가"로 바꿔줍니다. 이렇게 하면 어떤 모형이든 상관없이 절댓값이 대략 2를 넘으면 다소 튀는 값, 3을 넘으면 뚜렷한 이상치로 의심해볼 수 있는 공통 잣대가 생깁니다.

왜 중요한가

회귀모형이 특정 관측치 몇 개에 의해 왜곡되어 있는지를 확인하는 것은 모형의 신뢰성을 점검하는 기본 절차입니다. 표준화잔차는 모형이나 변수 단위에 상관없이 이상치를 판단할 수 있는 공통 잣대를 제공하기 때문에, 회귀분석·분산분석 등 모형 진단이 필요한 거의 모든 통계 논문에서 잔차 검토 단계에 빠지지 않고 등장합니다.

계산과 범위

같은 이름으로 불리는 값이 소프트웨어마다 조금씩 다릅니다. 잔차 e_i = 관측값 − 예측값, 잔차의 표준오차 s = √(SSE/(n−p)), 레버리지 h_i(그 점이 설명변수 공간에서 얼마나 외진 곳에 있는지)라 할 때:

범위에 이론적 제한은 없으며 정규 오차 모형이면 대부분 −2~2 안에 들어옵니다.

작은 예(가상). x = 1, 2, …, 10과 20, y = 2.1, 3.9, 6.2, 7.8, 10.1, 12.2, 13.8, 16.1, 18.0, 19.9, 30.0으로 단순회귀를 하면 ŷ = 2.41 + 1.515x, s = 1.73입니다. 마지막 점(x = 20, y = 30)은:

그냥 s로 나눈 값(−1.56)으로는 이 점이 정상으로 보이지만, 레버리지가 커서 회귀선이 이 점 쪽으로 끌려왔기 때문에 잔차가 작아졌을 뿐입니다. 보정하면 −2.99, 이 점을 빼고 판단하면 −32.5로 뚜렷한 이상치입니다.

해석 기준

• |값| > 2: 정규 오차라면 전체의 약 5%가 넘으므로 표본이 크면 몇 개는 그냥 나옵니다. |값| > 3: 약 0.3%로 드물어 이상치 후보로 검토합니다. 모두 연구자들이 쓰는 관례적 기준이며 절대적인 판정선이 아닙니다.
• 엄밀하게 ‘가장 큰 |외부 스튜던트화 잔차|가 이상치인가’를 검정하려면 표본 수 n으로 본페로니 보정한 t 임계값을 씁니다. 위 예(n = 11)에서는 t₈의 .05/(2×11) 지점인 3.90이며 −32.5는 이를 크게 넘습니다.
• 잔차가 크다고 곧 영향력이 큰 것은 아닙니다. 영향력은 잔차와 레버리지를 결합한 쿡의 거리로 봅니다. 위 예의 쿡의 거리 11.8은 흔히 쓰는 기준(1 정도, 또는 4/n)을 크게 넘습니다.
• 잔차 대 예측값 도표에 표준화 잔차를 그려 패턴(곡선, 깔때기 모양)을 보면 선형성·등분산성도 점검할 수 있습니다(잔차분석).

보고 방법

어떤 종류의 잔차를 썼는지, 기준값, 기준을 넘은 사례 수와 처리 방법을 적습니다. (위 가상 자료 기준)

스튜던트화 삭제 잔차의 절댓값이 3을 넘는 사례가 1건(−32.5) 확인되었고 쿡의 거리도 11.8로 컸다. 자료를 확인한 결과 입력 오류는 아니어서 이 사례를 포함한 분석과 제외한 분석 결과를 모두 제시하였다.

• “표준화 잔차의 절댓값이 3 이하였다”는 서술만 있으면 위의 e/s인지 스튜던트화 잔차인지 알 수 없습니다. 소프트웨어와 변수 이름(ZRESID, SRESID, SDRESID 등)을 밝힙니다.
• 이상치를 삭제하는 것보다 원인을 조사하고 포함·제외 결과를 모두 보여 주는 편이 투명합니다.
• 분할표(교차분석) 사후 분석에서의 ‘표준화 잔차’와는 다른 개념입니다. 분할표에서는 (관측−기대)/√기대(피어슨 잔차)와 그것을 행·열 비율로 더 보정한 조정된 잔차가 쓰이며, 조정된 잔차는 대략 표준정규분포를 따라 |값| > 1.96이면 5% 수준에서 눈에 띄는 칸으로 봅니다(Haberman, 1973). 예를 들어 2×2 표의 관측도수가 30, 20 / 20, 30이면 기대도수는 모두 25이고 피어슨 잔차는 ±1.0, 조정된 잔차는 ±2.0입니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

• “종속변수인 삶의 질의 왜도와 첨 도의 심각한 비정규성은 없었고, 표준화 잔차 또한 정규 분포하 였다.”

  여대생의 e헬스 문해력, 생식건강 증진 행위가 삶의 질에 미치는 영향, Journal of Korean Maternal and Child Health, 2026 · KoreaMed Synapse · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 "잔차를 같은 기준으로 환산했더니 유독 튀는 관측치 두 개가 있어서, 이를 이상치로 보고 분석 대상에서 뺐다"는 뜻입니다.

이상치 탐지뿐 아니라 잔차가 예측값 전 범위에 걸쳐 고르게 흩어져 있는지를 눈으로 확인하는 데도 표준화잔차가 활용된다는 예입니다.

단순 회귀뿐 아니라 다층모형과 같은 복잡한 모형에서도 표준화잔차를 이용해 모형이 특정 하위집단을 잘못 예측하고 있지 않은지 점검한다는 뜻입니다.

조금 더 깊게 보면

표준화잔차와 비슷하지만 조금 더 정교한 지표로 스튜던트화잔차(studentized residual)가 있는데, 이는 해당 관측치 자체가 모형 적합에 미치는 영향을 제거한 뒤 잔차를 표준화한다는 점에서 차이가 있습니다. 잔차 진단은 보통 잔차 대 예측값 산점도, Q-Q 플롯 같은 시각적 도구와 함께 사용되며, 표준화잔차만 단독으로 보기보다는 지렛값(leverage)이나 쿡의 거리 같은 다른 진단 지표와 함께 종합적으로 해석하는 것이 일반적입니다.

주의할 점

표준화잔차가 크다고 해서 그 관측치를 무조건 삭제해서는 안 됩니다. 자료 입력 오류가 아니라 실제로 존재하는 극단적인 사례일 수도 있으므로, 쿡의 거리 등 다른 진단 지표와 함께 종합적으로 판단해야 합니다.

헷갈리기 쉬운 용어

잔차 계열 용어는 이름이 비슷하지만 역할이 다릅니다.

이상치(잔차가 큼)와 영향점(회귀선을 바꿈)은 같지 않습니다. 레버리지가 큰 점은 잔차가 작아 보이면서도 회귀선을 좌우합니다.

참고 문헌

1. Cook, R. D., & Weisberg, S. (1982). Residuals and influence in regression. Chapman & Hall.
2. Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression diagnostics: Identifying influential data and sources of collinearity. Wiley.
3. Fox, J. (2016). Applied regression analysis and generalized linear models (3rd ed.). Sage.
4. Haberman, S. J. (1973). The analysis of residuals in cross-classified tables. Biometrics, 29(1), 205–220.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어