엘라스틱넷 회귀 (Elastic Net Regression)

한 줄 정의: 변수가 너무 많거나 서로 비슷한 변수들이 섞여 있을 때, 불필요한 변수는 제거하고 서로 닮은 변수들은 함께 남기도록 균형 있게 조절하는 회귀분석 기법입니다.

쉽게 풀면

회귀분석을 할 때 변수가 수십, 수백 개씩 있으면 어떤 변수가 진짜 중요한지 가려내기 어렵습니다. 라쏘 회귀는 중요하지 않은 변수의 영향력을 아예 0으로 만들어 과감하게 잘라내지만, 서로 비슷한 변수 그룹이 있으면 그중 하나만 남기고 나머지를 무작위로 버리는 단점이 있습니다. 반대로 릿지 회귀는 모든 변수를 조금씩 남기지만 완전히 제거하지는 못합니다. 엘라스틱넷은 이 두 방식을 적절히 섞어서, 불필요한 변수는 확실히 줄이면서도 서로 닮은 변수들은 그룹째로 살려두는 절충안입니다.

왜 중요한가

변수가 표본 수보다 많거나 변수들이 서로 강하게 얽혀 있는 고차원 자료는 유전체학, 신경영상, 텍스트마이닝 등 여러 분야에서 흔히 나타나는데, 엘라스틱넷은 이런 상황에서 안정적으로 변수를 선택하고 예측력을 확보할 수 있는 몇 안 되는 실용적인 방법 중 하나입니다. 라쏘나 릿지 단독으로는 다루기 어려운 다중공선성 문제를 함께 완화해주기 때문에, 예측 모형의 해석 가능성과 안정성을 동시에 원하는 논문에서 기본 분석 도구로 자주 채택됩니다.

논문에서는 이렇게 쓰입니다

"수백 개의 유전자 발현 변수 중 상관관계가 높은 변수 그룹이 다수 존재하여, 엘라스틱넷 회귀(elastic net regression)를 이용해 변수를 선택하고 예측 모형을 구축하였다."

이 문장은 변수 개수가 표본 수보다 많거나 변수 간 상관관계가 심한 상황(예: 유전체 데이터, 설문 문항이 매우 많은 데이터)에서, 단순한 라쏘 회귀나 릿지 회귀만으로는 부족할 때 엘라스틱넷을 대안으로 사용했다는 의미입니다.

"부동산 가격 예측 모형에서 위치, 면적, 시설 관련 변수 다수가 서로 높은 상관관계를 보여, 엘라스틱넷 회귀를 적용해 변수 간 다중공선성 문제를 완화하고 예측 성능을 높였다."

경제·경영 분야의 예측 모형 연구에서는 서로 관련된 설명변수가 많은 자료에서 예측력과 변수 해석력을 함께 확보하기 위해 엘라스틱넷을 활용한다.

"소셜미디어 텍스트에서 추출한 수천 개의 단어 빈도 변수를 이용한 감성 분류 모형에서, 엘라스틱넷 규제를 적용해 실질적으로 유의미한 단어 집합만을 선별하였다."

텍스트마이닝 및 자연어처리 응용 연구에서는 매우 많은 단어 변수 중 예측에 실제로 기여하는 변수를 골라내는 데 엘라스틱넷이 활용된다.

조금 더 깊게 보면

엘라스틱넷의 목적함수는 라쏘의 L1 규제항과 릿지의 L2 규제항을 가중합으로 결합한 형태이며, 이 둘의 비중을 정하는 혼합비율(흔히 알파 또는 l1_ratio로 표기)과 전체 규제 강도를 함께 조정합니다. 혼합비율이 1에 가까우면 라쏘에 가까운 성긴(sparse) 해를, 0에 가까우면 릿지에 가까운 조밀한 해를 얻게 되며, 실무에서는 이 두 하이퍼파라미터를 교차검증으로 격자탐색해 최적값을 찾는 것이 일반적입니다. 서로 상관관계가 높은 변수들을 개별적으로 솎아내기보다 함께 남기거나 함께 제외하는 경향이 있다는 점이 라쏘와 구별되는 엘라스틱넷의 실질적 특징입니다.

주의할 점

엘라스틱넷은 라쏘와 릿지를 섞는 비율(혼합 비율)과 전체 규제 강도, 이렇게 두 개의 조절값(하이퍼파라미터)을 함께 정해야 하므로 교차검증 없이 임의로 값을 고르면 결과가 크게 달라질 수 있습니다. 또한 변수를 줄여준다고 해서 그 변수들 사이의 인과관계까지 보장해주는 것은 아닙니다.