강건회귀 (Robust Regression)
쉽게 풀면
일반적인 회귀분석(최소제곱법)은 예측값과 실제값의 차이를 "제곱"해서 그 합이 가장 작아지는 직선을 찾습니다. 그런데 이 방식은 이상치 하나가 아주 멀리 떨어져 있으면 그 값의 오차가 제곱되어 훨씬 크게 반영되기 때문에, 직선 전체가 그 이상치 쪽으로 확 끌려가 버리는 문제가 있습니다. 강건회귀는 이런 극단값의 영향력을 일부러 줄이는 방식(예: 오차를 제곱 대신 다르게 가중치를 주는 방법)을 사용해서, 이상치가 몇 개 섞여 있어도 전체 데이터의 대체적인 경향을 더 안정적으로 반영하는 직선을 찾아줍니다.
왜 중요한가
실제 데이터에는 측정 오류, 입력 실수, 혹은 실제로 존재하지만 드문 극단 사례처럼 다양한 이유로 이상치가 섞여 있기 마련이어서, 이런 값에 결과가 크게 흔들리지 않는지 확인하는 것은 통계 분석의 신뢰성을 보이는 데 중요합니다. 특히 소득이나 자산처럼 원래부터 값의 분포가 한쪽으로 치우치고 극단값이 흔한 사회과학·경제학 데이터, 또는 측정 노이즈가 섞이기 쉬운 실험 데이터에서 강건회귀가 자주 활용됩니다. 많은 논문에서는 일반 회귀분석 결과와 강건회귀 결과를 나란히 제시해 결론이 이상치에 좌우된 것이 아님을 보여주는 방식으로 사용되기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "소득처럼 값이 크게 튀는 변수를 다룰 때, 이상치에 덜 민감한 강건회귀로 다시 분석했다"는 뜻입니다.
기계 센서 데이터처럼 가끔 튀는 값이 섞이는 상황에서도 강건회귀가 더 안정적인 결과를 냈다는 내용입니다.
두 가지 방법으로 각각 분석해도 같은 결론이 나온다는 것을 보여줘 분석 결과가 이상치에 흔들리지 않았음을 확인했다는 뜻입니다.
조금 더 깊게 보면
강건회귀에는 오차의 크기에 따라 가중치를 다르게 부여하는 M-추정법, 데이터의 절반 이상이 따르는 경향을 우선하는 최소중위제곱(LMS) 계열 방법 등 여러 접근이 있으며, 대부분 극단적으로 큰 잔차를 가진 관측값의 영향력을 점진적으로 줄이는 방식으로 작동합니다. 실무에서는 강건회귀를 적용하기 전에 쿡의 거리나 레버리지 같은 진단 지표로 어떤 관측값이 결과에 큰 영향을 미치는지 먼저 살펴보고, 그 값이 오류인지 의미 있는 사례인지 판단한 뒤 분석 전략을 정하는 경우가 많습니다.
주의할 점
강건회귀는 이상치의 영향을 "줄여줄" 뿐, 이상치가 왜 생겼는지는 설명해 주지 않습니다. 그 값이 입력 오류인지 실제로 의미 있는 극단 사례인지는 쿡의 거리 같은 진단 지표로 먼저 확인한 뒤 분석 방법을 결정하는 것이 바람직합니다.