라쏘 회귀 (Lasso Regression)

한 줄 정의: 회귀계수에 L1 페널티를 부여해 중요하지 않은 변수의 계수를 정확히 0으로 만들어 자동으로 변수를 선택하는 회귀 기법입니다.

쉽게 풀면

설명변수가 수십, 수백 개나 되는 데이터를 다룰 때는 "어떤 변수가 진짜 중요한가"를 가려내는 일이 중요합니다. 라쏘 회귀는 계수의 절댓값 합에 벌점을 매기는 방식(L1 규제)으로 학습을 하는데, 이 방식의 특징은 중요도가 낮은 변수의 계수를 아예 0으로 만들어버린다는 점입니다. 결과적으로 모형에 남는 변수들만 보면 "이 변수들이 실제로 중요하다"고 자동으로 걸러낸 셈이 됩니다. 마치 짐을 쌀 때 꼭 필요한 물건만 남기고 나머지는 과감히 빼버리는 것과 비슷합니다.

왜 중요한가

변수의 수가 표본 수보다 많거나 매우 많은 고차원 데이터에서는 어떤 변수를 모형에 포함시킬지 결정하는 일 자체가 중요한 연구 문제가 됩니다. 라쏘 회귀는 변수 선택과 계수 추정을 동시에 수행할 수 있어, 유전체학, 계량경제학, 이미지 분석 등 변수가 많은 분야의 논문에서 예측 모형의 해석력을 높이는 방법으로 널리 채택됩니다. 또한 과적합을 억제하는 효과도 있어 예측 성능 개선을 목적으로도 자주 사용됩니다.

논문에서는 이렇게 쓰입니다

"수백 개의 유전자 발현 변수 중 예측에 기여하는 변수를 선별하기 위해 라쏘 회귀(Lasso Regression)를 적용하였고, 최종적으로 12개의 변수가 선택되었다."

이 문장은 변수가 매우 많은 상황에서 라쏘 회귀를 이용해 계수가 0이 아닌 변수만 남기는 방식으로 자동 변수 선택을 수행했다는 뜻입니다.

"주택 가격에 영향을 미치는 다수의 사회경제적 변수 중 유의미한 예측변수를 식별하기 위해 라쏘 회귀를 적용하였다."

계량경제학 분야에서 다수의 후보 변수 가운데 실제로 설명력이 있는 변수를 걸러내는 데 라쏘 회귀를 사용했다는 의미입니다.

"뇌영상 데이터의 고차원 특징 중 질환 예측에 기여하는 특징을 축소하기 위해 라쏘 회귀 기반 특징 선택을 수행하였다."

의료영상 분석처럼 특징 수가 매우 많은 데이터에서 라쏘 회귀를 차원 축소 및 특징 선택 도구로 활용한 경우를 설명한다.

조금 더 깊게 보면

라쏘 회귀에서 규제의 강도를 결정하는 하이퍼파라미터(흔히 람다 또는 알파로 표기)는 교차검증을 통해 선택하는 것이 일반적이며, 이 값이 클수록 더 많은 계수가 0으로 수렴해 선택되는 변수 수가 줄어듭니다. 릿지 회귀가 L2 페널티로 계수를 전체적으로 줄이기만 하는 것과 달리, 라쏘의 L1 페널티는 기하학적으로 모서리를 가진 제약 영역을 만들어 계수가 정확히 0이 되는 해가 나오기 쉽다는 점이 두 방법의 핵심적인 차이입니다.

주의할 점

설명변수들끼리 상관관계가 매우 높을 경우, 라쏘 회귀는 그중 하나만 임의로 선택하고 나머지는 0으로 만들어버리는 경향이 있어 결과가 불안정할 수 있습니다. 이런 경우에는 릿지 회귀와 라쏘를 절충한 방법(엘라스틱넷)을 고려하기도 합니다.