릿지 회귀 (Ridge Regression)
쉽게 풀면
변수가 많은 데이터로 회귀분석을 하다 보면, 몇몇 계수 값이 비정상적으로 커지면서 모형이 훈련 데이터에만 딱 맞고 새로운 데이터에는 잘 안 맞는 일이 생깁니다. 특히 설명변수들끼리 서로 비슷한 정보를 담고 있을 때(다중공선성) 이런 문제가 심해집니다.
릿지 회귀는 "계수가 너무 커지면 벌점을 준다"는 규칙을 손실함수에 추가해서, 모든 계수를 0 쪽으로 살짝씩 눌러줍니다(축소, shrinkage). 계수를 완전히 0으로 만들지는 않지만, 극단적으로 커지는 것을 막아 모형을 더 안정적이고 일반화가 잘 되게 만들어 줍니다.
왜 중요한가
릿지 회귀는 변수 수가 많거나 설명변수 간 상관관계가 높은 데이터에서도 안정적인 예측 모형을 만들 수 있게 해주기 때문에, 통계학과 머신러닝을 아우르는 실용적인 규제 기법으로 폭넓게 쓰입니다.
유전체 데이터처럼 표본 수보다 변수 수가 훨씬 많은 고차원 데이터를 다루는 연구에서는 릿지 회귀 같은 규제 기법이 사실상 필수적으로 언급됩니다. 이 때문에 예측 모형의 일반화 성능을 높이려는 다양한 응용 분야의 논문에서 기본 비교 모형으로 자주 등장합니다.
언제 쓰나
설명변수가 서로 강하게 상관되어 최소제곱 추정이 불안정하거나(다중공선성), 변수 수가 표본에 비해 많아 과적합이 걱정될 때 씁니다. 목적이 예측 정확도일 때 특히 유용합니다.
- 목적함수:
RSS + λ × Σβj²(λ ≥ 0). 계수 크기의 제곱합에 벌점을 줍니다. 절편에는 벌점을 주지 않는 것이 일반적입니다. - 변수의 단위가 다르면 벌점이 불공평하게 걸리므로 설명변수를 먼저 표준화합니다.
- λ = 0이면 최소제곱, λ가 커질수록 계수가 0으로 줄어듭니다. 라쏘와 달리 계수를 정확히 0으로 만들지는 않아 변수 선택은 하지 못합니다.
- λ는 보통 k-겹 교차검증으로 고릅니다.
결과는 이렇게 읽는다
작은 예(모의 자료, n = 60, 두 변수의 상관 .94, 실제로는 두 변수의 효과가 같음, 표준화한 단위의 계수, 계산 결과).
| λ | x₁ 계수 | x₂ 계수 |
|---|---|---|
| 0 (최소제곱) | 1.46 | 0.35 |
| 1 | 1.32 | 0.47 |
| 10 | 0.97 | 0.69 |
| 100 | 0.50 | 0.46 |
최소제곱은 두 변수의 효과를 한쪽에 몰아 1.46과 0.35로 갈라 놓았습니다. λ가 커지면 계수가 서로 비슷해지고 전체적으로 줄어듭니다. 표본을 2,000번 다시 뽑는 부트스트랩으로 보면 계수의 표준편차가 최소제곱에서는 0.34·0.33, λ = 10의 릿지에서는 0.10·0.09로 크게 줄어, 추정이 안정됩니다.
- 대가: 계수가 0 쪽으로 편향됩니다(편향-분산 절충). 벌점이 커질수록 편향은 늘고 분산은 줄어드는데, 합친 예측오차가 최소가 되는 λ를 교차검증으로 찾습니다.
- 릿지 계수는 최소제곱처럼 간단한 표준오차·p값을 주지 않습니다. 가설검정이 목적이라면 부적합할 수 있습니다.
논문에는 이렇게 보고한다
표준화 여부, λ를 정한 방법(교차검증의 겹 수와 평가 지표), 선택된 λ, 그리고 예측 성능을 적습니다.
설명변수를 표준화한 뒤 릿지 회귀를 적합하였다. 벌점 모수 λ는 10-겹 교차검증에서 평균제곱오차가 최소가 되는 값(λ = 12.4)으로 정하였다. 교차검증 RMSE는 최소제곱 회귀 0.91, 릿지 회귀 0.84였다. (형식을 보여 주려는 가상의 문장)
- 라쏘, 엘라스틱넷과 성능을 비교한 경우 같은 교차검증 분할을 썼는지 밝힙니다.
- λ에 따른 계수 경로(path) 그림을 부록에 넣으면 독자가 어떻게 줄어드는지 볼 수 있습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“산불 건수의 선형 변화를 살펴보기 위해 다중회귀분석, 능형회귀분석, LASSO를 이용하였고, 산불조심기간을 선정하기 위해K-means 군집분석을 수행하였다.”
통계 분석을 통한 산불조심기간 추정, Crisisonomy, 2019 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 일반 회귀분석 대신 릿지 회귀를 써서 계수 추정치가 불안정해지는 문제를 줄였고, 규제의 세기를 정하는 하이퍼파라미터(λ)를 교차검증으로 최적화했다는 뜻입니다.
유전체학 분야에서 변수 수가 표본 수보다 훨씬 많은 고차원 데이터에 릿지 회귀를 적용한 사례를 보여주는 문장입니다.
응용경제 분야에서 릿지 회귀가 일반 회귀보다 예측 성능을 개선한 사례를 설명하는 문장입니다.
조금 더 깊게 보면
릿지 회귀의 규제 강도를 결정하는 하이퍼파라미터 λ는 보통 k-겹 교차검증을 통해 검증 성능이 가장 좋은 값을 탐색해 선택하며, λ가 0에 가까우면 일반 최소제곱 회귀에 가까워지고 λ가 커질수록 계수들이 점점 0에 가깝게 축소됩니다.
릿지 회귀는 L2 노름(계수 제곱합)에 페널티를 주는 방식이라 라쏘 회귀(L1 노름 페널티)와 달리 계수를 정확히 0으로 만들지 않으며, 두 방식을 결합한 엘라스틱넷이라는 기법도 널리 쓰입니다.
통계학적으로는 릿지 회귀 추정량이 편향(bias)을 감수하는 대신 분산(variance)을 줄여 전체 예측 오차를 낮추는 편향-분산 트레이드오프 관점에서 설명되곤 합니다.
주의할 점
릿지 회귀는 계수를 줄여주긴 하지만 정확히 0으로 만들지는 않기 때문에 "변수 선택" 기능은 없습니다. 불필요한 변수를 아예 제거하고 싶다면 라쏘 회귀처럼 L1 규제를 쓰는 방법을 고려해야 합니다.
헷갈리기 쉬운 용어
규제 회귀와 공선성 대응 방법이 한꺼번에 등장합니다.
| 방법 | 벌점 | 특징 |
|---|---|---|
| 릿지(L2) 회귀 | 계수의 제곱합 | 계수를 줄이되 0으로 만들지 않음. 상관된 변수의 계수를 함께 줄임 |
| 라쏘(L1) 회귀 | 계수 절댓값의 합 | 일부 계수를 정확히 0으로 만들어 변수 선택 효과 |
| 엘라스틱넷 | L1과 L2의 혼합 | 상관된 변수가 많을 때 라쏘의 불안정을 완화 |
| 주성분회귀 | 벌점 대신 변수 축소 | 변수를 주성분으로 바꾼 뒤 회귀 |
| 다중공선성 | — | 릿지가 다루려는 문제 자체 |
릿지는 ‘모든 변수를 남기고 크기를 줄이는’ 방법, 라쏘는 ‘일부 변수를 버리는’ 방법으로 구분하면 됩니다.
참고 문헌
- Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67.
- Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Applications to nonorthogonal problems. Technometrics, 12(1), 69–82.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer.
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Statistical Learning. Springer.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.