릿지 회귀 (Ridge Regression)

한 줄 정의: 회귀계수의 크기에 페널티(L2 규제)를 부여해 다중공선성과 과적합의 영향을 줄이는 회귀 기법입니다.

쉽게 풀면

변수가 많은 데이터로 회귀분석을 하다 보면, 몇몇 계수 값이 비정상적으로 커지면서 모형이 훈련 데이터에만 딱 맞고 새로운 데이터에는 잘 안 맞는 일이 생깁니다. 특히 설명변수들끼리 서로 비슷한 정보를 담고 있을 때(다중공선성) 이런 문제가 심해집니다. 릿지 회귀는 "계수가 너무 커지면 벌점을 준다"는 규칙을 손실함수에 추가해서, 모든 계수를 0 쪽으로 살짝씩 눌러줍니다(축소, shrinkage). 계수를 완전히 0으로 만들지는 않지만, 극단적으로 커지는 것을 막아 모형을 더 안정적이고 일반화가 잘 되게 만들어 줍니다.

왜 중요한가

릿지 회귀는 변수 수가 많거나 설명변수 간 상관관계가 높은 데이터에서도 안정적인 예측 모형을 만들 수 있게 해주기 때문에, 통계학과 머신러닝을 아우르는 실용적인 규제 기법으로 폭넓게 쓰입니다. 유전체 데이터처럼 표본 수보다 변수 수가 훨씬 많은 고차원 데이터를 다루는 연구에서는 릿지 회귀 같은 규제 기법이 사실상 필수적으로 언급됩니다. 이 때문에 예측 모형의 일반화 성능을 높이려는 다양한 응용 분야의 논문에서 기본 비교 모형으로 자주 등장합니다.

논문에서는 이렇게 쓰입니다

"설명변수 간 다중공선성 문제를 완화하기 위해 릿지 회귀(Ridge Regression)를 적용하였으며, 규제 강도(λ)는 교차검증을 통해 선정하였다."

이 문장은 일반 회귀분석 대신 릿지 회귀를 써서 계수 추정치가 불안정해지는 문제를 줄였고, 규제의 세기를 정하는 하이퍼파라미터(λ)를 교차검증으로 최적화했다는 뜻입니다.

"유전체 변이 수가 표본 수를 크게 초과하는 데이터셋에서 릿지 회귀를 이용해 형질 예측 모형을 구축하였다."

유전체학 분야에서 변수 수가 표본 수보다 훨씬 많은 고차원 데이터에 릿지 회귀를 적용한 사례를 보여주는 문장입니다.

"부동산 가격 예측 모형에서 일반 최소제곱법 대신 릿지 회귀를 적용한 결과 검증 데이터에 대한 예측 오차가 감소하였다."

응용경제 분야에서 릿지 회귀가 일반 회귀보다 예측 성능을 개선한 사례를 설명하는 문장입니다.

조금 더 깊게 보면

릿지 회귀의 규제 강도를 결정하는 하이퍼파라미터 λ는 보통 k-겹 교차검증을 통해 검증 성능이 가장 좋은 값을 탐색해 선택하며, λ가 0에 가까우면 일반 최소제곱 회귀에 가까워지고 λ가 커질수록 계수들이 점점 0에 가깝게 축소됩니다. 릿지 회귀는 L2 노름(계수 제곱합)에 페널티를 주는 방식이라 라쏘 회귀(L1 노름 페널티)와 달리 계수를 정확히 0으로 만들지 않으며, 두 방식을 결합한 엘라스틱넷이라는 기법도 널리 쓰입니다. 통계학적으로는 릿지 회귀 추정량이 편향(bias)을 감수하는 대신 분산(variance)을 줄여 전체 예측 오차를 낮추는 편향-분산 트레이드오프 관점에서 설명되곤 합니다.

주의할 점

릿지 회귀는 계수를 줄여주긴 하지만 정확히 0으로 만들지는 않기 때문에 "변수 선택" 기능은 없습니다. 불필요한 변수를 아예 제거하고 싶다면 라쏘 회귀처럼 L1 규제를 쓰는 방법을 고려해야 합니다.