레버리지(지렛대값)
쉽게 풀면
시소를 떠올려보면, 중심에서 멀리 앉을수록 작은 힘으로도 시소 전체를 크게 움직일 수 있습니다. 회귀분석에서도 마찬가지입니다. 대부분의 관측치가 독립변수 값 30~50 사이에 몰려 있는데, 어느 한 관측치만 100이라면 이 관측치는 "지렛대의 끝"에 앉아 있는 셈이라 회귀선의 기울기를 크게 좌우할 힘을 갖습니다. 레버리지는 바로 이 힘의 크기를 0과 1 사이의 값으로 나타낸 것으로, 값이 클수록 그 관측치의 독립변수 값이 다른 관측치들과 동떨어져 있다는 뜻입니다. 다만 레버리지가 높다고 해서 실제로 결과를 많이 바꾸는 것은 아니며, 그 관측치의 종속변수 값이 예측된 흐름과 잘 맞아떨어지면 큰 문제가 되지 않습니다.
왜 중요한가
회귀분석 결과는 소수의 극단적 관측치에 의해 크게 왜곡될 수 있어, 모형을 신뢰하기 전에 이러한 영향력 있는 관측치를 진단하는 절차가 필요합니다. 레버리지는 이 진단의 첫 단계로, 잔차 분석이나 쿡의 거리 같은 다른 영향력 지표와 함께 회귀모형의 견고성(robustness)을 검토하는 표준 절차의 일부로 논문에 자주 보고됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 "독립변수 값이 유독 튀는 관측치를 찾아봤지만, 실제로 회귀분석 결과를 크게 흔들지는 않았다"는 뜻입니다.
사회조사나 경제학 연구에서 특이한 응답자로 인한 회귀계수 왜곡 가능성을 점검할 때 사용된다.
생물학·의학 실험 데이터에서 이상치로 의심되는 개체를 통계적으로 진단할 때 사용된다.
조금 더 깊게 보면
레버리지는 회귀분석의 햇 행렬(hat matrix)의 대각원소로 계산되며, 모든 관측치의 레버리지 값 합은 독립변수(설명변수)의 개수와 절편에 해당하는 값으로 고정된다는 성질을 가집니다. 이 때문에 흔히 평균 레버리지의 2배 또는 3배를 넘는 값을 잠재적으로 주의가 필요한 관측치로 판단하는 경험적 기준이 쓰이지만, 절대적인 기준이라기보다는 참고용 지침으로 다뤄집니다.
주의할 점
레버리지는 독립변수 값이 얼마나 동떨어져 있는지만 볼 뿐, 그 관측치가 실제로 결과를 얼마나 바꾸는지는 알려주지 않습니다. 레버리지와 잔차 크기를 함께 반영해 실제 영향력까지 종합적으로 보여주는 지표는 쿡의 거리입니다.