레버리지(지렛대값)

한 줄 정의: 어떤 관측치의 독립변수 값이 다른 관측치들과 얼마나 동떨어져 있어서, 회귀선을 자기 쪽으로 끌어당길 힘을 얼마나 가지고 있는지를 나타내는 지표입니다.

쉽게 풀면

시소를 떠올려보면, 중심에서 멀리 앉을수록 작은 힘으로도 시소 전체를 크게 움직일 수 있습니다. 회귀분석에서도 마찬가지입니다. 대부분의 관측치가 독립변수 값 30~50 사이에 몰려 있는데, 어느 한 관측치만 100이라면 이 관측치는 "지렛대의 끝"에 앉아 있는 셈이라 회귀선의 기울기를 크게 좌우할 힘을 갖습니다.

레버리지는 바로 이 힘의 크기를 0과 1 사이의 값으로 나타낸 것으로, 값이 클수록 그 관측치의 독립변수 값이 다른 관측치들과 동떨어져 있다는 뜻입니다. 다만 레버리지가 높다고 해서 실제로 결과를 많이 바꾸는 것은 아니며, 그 관측치의 종속변수 값이 예측된 흐름과 잘 맞아떨어지면 큰 문제가 되지 않습니다.

왜 중요한가

회귀분석 결과는 소수의 극단적 관측치에 의해 크게 왜곡될 수 있어, 모형을 신뢰하기 전에 이러한 영향력 있는 관측치를 진단하는 절차가 필요합니다. 레버리지는 이 진단의 첫 단계로, 잔차 분석이나 쿡의 거리 같은 다른 영향력 지표와 함께 회귀모형의 견고성(robustness)을 검토하는 표준 절차의 일부로 논문에 자주 보고됩니다.

계산과 범위

다중회귀 y = Xβ + ε에서 예측값은 ŷ = Hy이고, H = X(X′X)⁻¹X′를 햇 행렬(hat matrix)이라 합니다. 레버리지는 그 대각원소 h_ii로, “관측값 y_i가 자신의 예측값 ŷ_i를 얼마나 끌어당기는가”를 뜻합니다(ŷ_i = h_iiy_i + 다른 항).

범위: 1/n ≤ h_ii ≤ 1(절편 포함 모형). 값이 클수록 그 점의 설명변수 값이 다른 점들의 중심에서 멀리 떨어져 있습니다.
합: Σh_ii = p(절편 포함 계수의 수). 그래서 평균 레버리지는 p/n입니다.
단순회귀에서는 h_ii = 1/n + (x_i − x̄)² / Σ(x_j − x̄)²입니다.
레버리지는 설명변수 X만으로 정해집니다. y값은 관여하지 않습니다.

해석 기준

흔한 경험칙은 h_ii > 2p/n(Hoaglin & Welsch, 1978) 또는 3p/n를 “높다”고 보는 것입니다. 절대 기준이 아니고 점검할 후보를 추리는 선입니다. 레버리지가 높다고 곧 문제인 것은 아닙니다. 영향력은 레버리지 × 잔차의 결과이며, 쿡의 거리 D_i = r_i² · h_ii / [p(1 − h_ii)] (r_i는 표준화 잔차)로 합칩니다.

(가상의 예, 직접 계산) x = 1~9와 x = 20인 점 하나, 모두 10개 점입니다. 단순회귀(p = 2)에서 x = 20인 점의 레버리지는 0.794로, 기준 2p/n = 0.40과 3p/n = 0.60을 모두 넘습니다(나머지 점은 0.101~0.215). y만 달리하여 두 경우를 비교합니다.

x = 20인 점의 y	회귀 기울기	그 점의 잔차	그 점의 쿡의 거리
18.5 (나머지 점의 추세선 위)	0.904	-0.004	0.000
8.0 (추세에서 크게 벗어남)	0.364	-2.164	13.71

나머지 9개 점만으로 구한 기울기는 0.905입니다. 레버리지가 같은 점이 추세선 위에 있으면 기울기를 거의 바꾸지 않지만, 벗어나 있으면 기울기를 0.36으로 끌어내립니다. 레버리지는 “끌어당길 힘”이고, 실제 영향은 잔차와 합쳐서 봅니다.

보고 방법

레버리지 값 자체를 표로 싣기보다 “레버리지가 높은 관측치가 있는지 확인하고, 있다면 제외 전후의 결과를 비교하였다”는 식으로 진단 결과를 서술합니다. (아래는 형식을 보여 주는 가상의 문장입니다.)

레버리지가 3p/n를 넘는 관측치 1건(ID 17)이 있어 쿡의 거리를 확인하였다(D = 0.04). 이 관측치를 제외해도 회귀계수의 방향과 유의성은 달라지지 않았다.

높은 레버리지 관측치를 이유 없이 삭제하면 안 됩니다. 입력 오류가 아니라면 포함한 결과와 제외한 결과를 모두 제시하는 것이 안전합니다.
재무에서 쓰는 “레버리지(부채비율, 영업레버리지)”와는 전혀 다른 개념입니다. 통계의 레버리지는 지렛대처럼 회귀선을 끌어당기는 힘을 뜻합니다.
소프트웨어에 따라 “중심화된 레버리지”(평균에서의 거리만, 1/n을 뺀 값)를 보여 주는 경우도 있으니 정의를 확인합니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"레버리지 값이 임계치를 초과한 관측치를 확인한 결과, 해당 사례는 결과에 실질적인 영향을 미치지 않는 것으로 나타났다."

이 문장은 "독립변수 값이 유독 튀는 관측치를 찾아봤지만, 실제로 회귀분석 결과를 크게 흔들지는 않았다"는 뜻입니다.

"소득 수준이 극단적으로 높은 일부 응답자의 레버리지 값이 유의하게 높게 나타나, 이들을 제외한 민감도 분석을 추가로 수행하였다."

사회조사나 경제학 연구에서 특이한 응답자로 인한 회귀계수 왜곡 가능성을 점검할 때 사용된다.

"실험군 중 처리 농도가 다른 개체와 크게 벗어난 한 개체의 레버리지 값이 높게 산출되어, 해당 데이터를 제외한 후 재분석을 실시하였다."

생물학·의학 실험 데이터에서 이상치로 의심되는 개체를 통계적으로 진단할 때 사용된다.

조금 더 깊게 보면

레버리지는 회귀분석의 햇 행렬(hat matrix)의 대각원소로 계산되며, 모든 관측치의 레버리지 값 합은 독립변수(설명변수)의 개수와 절편에 해당하는 값으로 고정된다는 성질을 가집니다. 이 때문에 흔히 평균 레버리지의 2배 또는 3배를 넘는 값을 잠재적으로 주의가 필요한 관측치로 판단하는 경험적 기준이 쓰이지만, 절대적인 기준이라기보다는 참고용 지침으로 다뤄집니다.

주의할 점

레버리지는 독립변수 값이 얼마나 동떨어져 있는지만 볼 뿐, 그 관측치가 실제로 결과를 얼마나 바꾸는지는 알려주지 않습니다. 레버리지와 잔차 크기를 함께 반영해 실제 영향력까지 종합적으로 보여주는 지표는 쿡의 거리입니다.

헷갈리기 쉬운 용어

회귀 진단의 세 가지 개념은 서로 다른 것을 봅니다.

용어	무엇을 보나	큰 값이 뜻하는 것
레버리지	설명변수 값이 얼마나 외진가(X만)	끌어당길 잠재력이 있음
표준화 잔차	y가 예측에서 얼마나 벗어났나	이상치(y 방향)
쿡의 거리	한 점을 빼면 추정이 얼마나 변하나	실제로 결과를 좌우하는 영향점. 레버리지 × 잔차
이상치	다른 값들과 동떨어진 값	레버리지가 높거나 잔차가 큰 경우를 모두 포함할 수 있음

참고 문헌

Hoaglin, D. C., & Welsch, R. E. (1978). The hat matrix in regression and ANOVA. The American Statistician, 32(1), 17–22.
Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15–18.
Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. Wiley.
Cook, R. D., & Weisberg, S. (1982). Residuals and Influence in Regression. Chapman & Hall.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.