강건회귀 (Robust Regression)
쉽게 풀면
일반적인 회귀분석(최소제곱법)은 예측값과 실제값의 차이를 "제곱"해서 그 합이 가장 작아지는 직선을 찾습니다. 그런데 이 방식은 이상치 하나가 아주 멀리 떨어져 있으면 그 값의 오차가 제곱되어 훨씬 크게 반영되기 때문에, 직선 전체가 그 이상치 쪽으로 확 끌려가 버리는 문제가 있습니다.
강건회귀는 이런 극단값의 영향력을 일부러 줄이는 방식(예: 오차를 제곱 대신 다르게 가중치를 주는 방법)을 사용해서, 이상치가 몇 개 섞여 있어도 전체 데이터의 대체적인 경향을 더 안정적으로 반영하는 직선을 찾아줍니다.
왜 중요한가
실제 데이터에는 측정 오류, 입력 실수, 혹은 실제로 존재하지만 드문 극단 사례처럼 다양한 이유로 이상치가 섞여 있기 마련이어서, 이런 값에 결과가 크게 흔들리지 않는지 확인하는 것은 통계 분석의 신뢰성을 보이는 데 중요합니다.
특히 소득이나 자산처럼 원래부터 값의 분포가 한쪽으로 치우치고 극단값이 흔한 사회과학·경제학 데이터, 또는 측정 노이즈가 섞이기 쉬운 실험 데이터에서 강건회귀가 자주 활용됩니다. 많은 논문에서는 일반 회귀분석 결과와 강건회귀 결과를 나란히 제시해 결론이 이상치에 좌우된 것이 아님을 보여주는 방식으로 사용되기도 합니다.
언제 쓰나
회귀분석에서 소수의 이상한 값이 회귀선을 끌고 가는 것이 걱정될 때, 또는 최소제곱 결과가 이상치에 좌우되지 않는지 확인하고 싶을 때 씁니다.
- 최소제곱법은 잔차를 제곱해 더하므로 멀리 떨어진 점의 영향이 큽니다. 강건회귀는 큰 잔차의 영향을 줄입니다.
- 이상치가 입력 오류인지 실제 현상인지 먼저 확인하는 것이 순서입니다(이상치, 쿡의 거리). 오류면 고치는 것이 맞고, 실제 값이면 지우는 대신 강건회귀를 쓰거나 두 결과를 함께 보고할 수 있습니다.
- 사용 목적은 보통 “이상치를 자동 제거”가 아니라 민감도 분석(결론이 이상치에 의존하는지 확인)입니다.
| 방법 | 핵심 |
|---|---|
| M-추정(Huber, 1964 등) | 잔차가 큰 관측치에 낮은 가중치를 주어 반복 계산. 이상치에 강하지만 x 방향의 극단값에는 약함 |
| LMS/LTS(Rousseeuw, 1984) | 잔차의 중앙값(또는 작은 잔차 일부)을 최소화. 높은 붕괴점을 가지지만 효율이 낮음 |
| MM-추정(Yohai, 1987) | 높은 붕괴점과 높은 효율을 함께 겨냥한 방법 |
붕괴점은 추정치를 임의로 망가뜨리는 데 필요한 오염 자료의 최소 비율입니다. 최소제곱은 하나의 이상한 값으로 망가질 수 있어 붕괴점이 사실상 0이고, LMS·LTS는 최대 약 50%입니다(Rousseeuw & Leroy, 1987).
결과는 이렇게 읽는다
- 계수 표는 일반 회귀와 같은 모양(추정치, 표준오차, 검정통계량)이지만, 각 관측치에 최종 가중치가 붙습니다. 가중치가 1보다 많이 작은 관측치가 이상치 후보입니다.
- Huber 방법의 조율상수는 1.345를 쓰는 경우가 많습니다. 오차가 정규분포일 때 최소제곱 대비 약 95%의 효율을 내도록 정한 값입니다(Huber, 1981). 값이 작을수록 이상치에 더 강하지만 정상 자료에서의 효율이 떨어집니다.
- 최소제곱과 강건회귀의 계수가 비슷하면 이상치가 결과를 좌우하지 않는다는 뜻이고, 크게 다르면 어떤 관측치가 영향을 미치는지 따로 살펴야 합니다.
작은 예(컴퓨터로 만든 가상의 자료, n = 12): 참 관계는 y = 2 + 1.5x에 오차를 더한 것입니다. 정상 자료의 최소제곱 기울기는 1.557입니다. 마지막 점(x = 12)의 y값을 25만큼 낮추어 이상치를 만들면 최소제곱 기울기는 0.596으로 무너지지만, Huber M-추정은 1.373으로 참값에 가깝게 남습니다(그 점의 최종 가중치는 .07). 반면 x가 극단적으로 큰 곳(x = 40)에 회귀선에서 벗어난 점을 하나 놓으면 최소제곱 0.382, Huber 0.367로 둘 다 크게 틀립니다. M-추정은 y 방향 이상치에는 강하지만 x 방향 극단점(나쁜 레버리지점)에는 약하다는 한계를 보여 줍니다.
논문에는 이렇게 보고한다
- 어떤 강건 추정법(Huber, bisquare, MM 등)과 조율상수, 사용한 프로그램을 적습니다.
- 최소제곱 결과와 강건회귀 결과를 나란히 제시하고, 주요 계수의 부호·크기·유의성이 일관한지 서술합니다. 예:
최소제곱과 MM-추정에서 주요 계수의 방향과 유의성이 같았다(표 3).(형식을 보여 주는 가상의 문장입니다.) - 이상치를 확인한 방법과, 제외하지 않고 강건회귀로 다루었다면 그 이유를 밝힙니다.
- “강건”은 이상치에 대한 성질이며, 모형이 틀렸거나 인과 해석이 잘못된 문제까지 해결하지 않습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "소득처럼 값이 크게 튀는 변수를 다룰 때, 이상치에 덜 민감한 강건회귀로 다시 분석했다"는 뜻입니다.
기계 센서 데이터처럼 가끔 튀는 값이 섞이는 상황에서도 강건회귀가 더 안정적인 결과를 냈다는 내용입니다.
두 가지 방법으로 각각 분석해도 같은 결론이 나온다는 것을 보여줘 분석 결과가 이상치에 흔들리지 않았음을 확인했다는 뜻입니다.
조금 더 깊게 보면
강건회귀에는 오차의 크기에 따라 가중치를 다르게 부여하는 M-추정법, 데이터의 절반 이상이 따르는 경향을 우선하는 최소중위제곱(LMS) 계열 방법 등 여러 접근이 있으며, 대부분 극단적으로 큰 잔차를 가진 관측값의 영향력을 점진적으로 줄이는 방식으로 작동합니다. 실무에서는 강건회귀를 적용하기 전에 쿡의 거리나 레버리지 같은 진단 지표로 어떤 관측값이 결과에 큰 영향을 미치는지 먼저 살펴보고, 그 값이 오류인지 의미 있는 사례인지 판단한 뒤 분석 전략을 정하는 경우가 많습니다.
주의할 점
강건회귀는 이상치의 영향을 "줄여줄" 뿐, 이상치가 왜 생겼는지는 설명해 주지 않습니다. 그 값이 입력 오류인지 실제로 의미 있는 극단 사례인지는 쿡의 거리 같은 진단 지표로 먼저 확인한 뒤 분석 방법을 결정하는 것이 바람직합니다.
헷갈리기 쉬운 용어
| 용어 | 무엇을 바꾸나 |
|---|---|
| 강건회귀 | 계수를 추정하는 방식 자체를 바꿔 이상치 영향을 줄임 |
| 강건표준오차 | 계수 추정치는 그대로 두고 표준오차 계산만 이분산 등에 대비해 보정 |
| 분위수 회귀 | 평균 대신 조건부 분위수(중앙값 등)를 모형화. 중앙값 회귀는 이상치에 덜 민감 |
| 가중최소제곱 | 미리 정한 가중치로 추정. 강건회귀는 가중치를 자료에서 반복해 정함 |
참고 문헌
- Huber, P. J. (1981). Robust Statistics. Wiley.
- Rousseeuw, P. J. (1984). Least median of squares regression. Journal of the American Statistical Association, 79(388), 871–880.
- Rousseeuw, P. J., & Leroy, A. M. (1987). Robust Regression and Outlier Detection. Wiley.
- Yohai, V. J. (1987). High breakdown-point and high efficiency robust estimates for regression. The Annals of Statistics, 15(2), 642–656.
- Maronna, R. A., Martin, R. D., & Yohai, V. J. (2006). Robust Statistics: Theory and Methods. Wiley.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.