용어 목록 > 강건표준오차 (Robust Standard Errors)

강건표준오차 (Robust Standard Errors)

통계
한 줄 정의: 회귀분석에서 등분산성 등 기본 가정이 어긋나 있어도, 계수 추정치의 표준오차를 왜곡 없이 안정적으로 계산해주는 방법입니다.

쉽게 풀면

보통의 회귀분석은 "오차가 흩어진 정도가 어디서나 비슷하다(등분산성)"는 가정을 깔고 표준오차를 계산합니다. 그런데 실제 데이터는 그렇지 않은 경우가 많습니다. 예를 들어 소득을 조사할 때, 소득이 낮은 사람들의 답변 오차보다 소득이 높은 사람들의 답변 오차가 훨씬 크게 흩어지는 식입니다.

이 가정이 깨지면 표준오차, 즉 "이 결과를 얼마나 믿을 수 있는가"를 나타내는 값이 잘못 계산될 수 있습니다. 강건표준오차는 이런 가정 위반을 어느 정도 감안하면서도 믿을 만한 표준오차를 다시 계산해주는 보정된 계산법입니다.

왜 중요한가

표준오차는 회귀 계수의 통계적 유의성을 판단하는 근거가 되기 때문에, 그 계산이 왜곡되면 실제로는 유의하지 않은 결과를 유의하다고 잘못 해석할 위험이 생깁니다.

실제 관측 데이터, 특히 횡단면 데이터나 패널 데이터는 등분산성 가정이 깨지는 경우가 흔하기 때문에, 경제학·사회과학 논문에서는 강건표준오차 사용이 사실상 관례처럼 자리잡았습니다. 이 때문에 많은 실증분석 논문은 결과표에 어떤 표준오차를 사용했는지(강건표준오차인지, 군집표준오차인지)를 명시적으로 표기합니다.

언제 쓰나

회귀분석에서 오차의 흩어진 정도가 일정하지 않거나(이분산성), 같은 집단 안의 관측치끼리 오차가 상관되어 있을 때(군집), 시계열처럼 오차가 자기상관을 가질 때, 계수 추정치는 그대로 두고 표준오차만 바로잡는 방법입니다.

결과는 이렇게 읽는다

핵심은 “샌드위치” 형태의 분산 추정입니다. Var(β̂) = (X′X)⁻¹ X′ diag(ei²) X (X′X)⁻¹에서 가운데 항에 각 관측치의 잔차 제곱을 쓰면 HC0입니다.

(가상의 예) 오차의 표준편차가 x에 비례하도록 만든 모의 자료 100개로 y = 1 + 2x를 OLS 추정했습니다(기울기 추정값 1.97). 직접 계산한 표준오차는 다음과 같습니다.

방법절편 SE기울기 SE
보통 OLS 표준오차0.6050.098
HC00.4180.102
HC10.4220.103
HC30.4300.105

이 자료에서는 기울기의 표준오차가 보통 공식보다 커지고(검정이 덜 낙관적이 됨), 절편은 오히려 작아졌습니다. 계수 추정치는 네 방법 모두 같습니다.

논문에는 이렇게 보고한다

결과표 하단에 어떤 표준오차를 썼는지 밝힙니다. (표본·수치는 형식을 보여 주려는 가상의 값입니다.)

이분산성이 의심되어(Breusch–Pagan 검정 p < .001) HC3 강건 표준오차를 사용하였다. 교육연수의 계수는 0.082(강건 SE = 0.021, p < .001)였다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"이분산성 문제를 고려하여 강건표준오차(robust standard errors)를 적용한 결과에서도 소득과 교육연수의 계수는 여전히 통계적으로 유의했다 (p < 0.01)."

이 문장은 오차의 흩어진 정도가 일정하지 않은 등분산성과 이분산성 문제를 감안해 표준오차를 다시 계산했으며, 그렇게 보정한 뒤에도 결과가 크게 달라지지 않았다는 것을 보여줍니다. White(Huber-White) 표준오차가 대표적이며, 패널 데이터에서는 같은 집단 내 관측치들의 상관까지 함께 고려하는 군집표준오차로 확장해서 사용하기도 합니다.

"동일 학교에 속한 학생들의 관측치 간 상관을 고려하여 학교 수준에서 군집화한 강건표준오차를 산출하였다."

같은 학교 학생들끼리는 서로 비슷한 특성을 공유할 수 있으므로, 이런 집단 내 상관을 반영해 표준오차를 다시 계산했다는 뜻입니다.

"패널 데이터 분석에서 시간에 따른 자기상관 가능성을 고려하여 Newey-West 방식의 강건표준오차를 적용하였다."

같은 대상을 여러 시점에 걸쳐 관측한 데이터에서 시간적으로 오차들이 서로 연관될 수 있는 문제까지 반영해 표준오차를 보정했다는 내용입니다.

조금 더 깊게 보면

가장 널리 쓰이는 형태는 이분산성만을 보정하는 White(Huber-White) 표준오차이며, 여기에 더해 같은 집단(학교, 지역, 개인 등) 내 관측치들이 서로 독립적이지 않을 가능성까지 반영하는 군집표준오차, 시간에 따른 자기상관까지 고려하는 Newey-West 표준오차 등으로 확장되어 사용됩니다. 어떤 방식을 선택할지는 데이터의 구조(횡단면인지, 패널인지, 집단화되어 있는지)에 따라 달라지며, 잘못된 군집 단위를 선택하면 오히려 표준오차가 부정확해질 수 있어 데이터 구조에 맞는 방법을 고르는 것이 중요합니다.

주의할 점

강건표준오차는 이분산성으로 인한 표준오차 왜곡을 보정해줄 뿐, 모형에서 중요한 변수가 빠졌거나 변수 간 상호 인과관계가 있는 내생성 문제까지 해결해주지는 않습니다. 즉 계수 추정치 자체의 편향은 그대로 남아 있을 수 있습니다.

헷갈리기 쉬운 용어

“robust”가 붙은 방법이 여럿이라 자주 섞입니다.

용어무엇을 바꾸나언제
강건 표준오차표준오차(분산 추정)만 바꿈. 계수는 그대로이분산성·군집·자기상관이 의심될 때
강건회귀계수 추정 방법 자체를 바꿈(이상치 영향 축소)이상치가 추정을 왜곡할 때
가중최소제곱이분산 구조를 모형화해 계수를 다시 추정분산의 형태를 알고 있을 때
등분산성·이분산성진단 대상(문제 자체)강건 표준오차는 이 문제의 대응책

참고 문헌

  1. White, H. (1980). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica, 48(4), 817–838.
  2. MacKinnon, J. G., & White, H. (1985). Some heteroskedasticity-consistent covariance matrix estimators with improved finite sample properties. Journal of Econometrics, 29(3), 305–325.
  3. Long, J. S., & Ervin, L. H. (2000). Using heteroscedasticity consistent standard errors in the linear regression model. The American Statistician, 54(3), 217–224.
  4. Newey, W. K., & West, K. D. (1987). A simple, positive semi-definite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55(3), 703–708.
  5. Cameron, A. C., & Miller, D. L. (2015). A practitioner’s guide to cluster-robust inference. Journal of Human Resources, 50(2), 317–372.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어

등분산성과 이분산성 신뢰구간 회귀분석 상관관계 로지스틱 회귀 다중공선성 결정계수