로지스틱 회귀 (logistic regression)

한 줄 정의: 결과가 "예/아니오"처럼 두 가지 중 하나로 나뉠 때, 어떤 요인이 그 결과가 나올 확률을 얼마나 높이거나 낮추는지 분석하는 통계 기법입니다.

쉽게 풀면

일반적인 회귀분석은 "공부 시간이 늘면 시험 점수가 몇 점 오르는가"처럼 숫자로 된 결과를 예측합니다. 하지만 "이 학생이 합격할 것인가, 불합격할 것인가"처럼 결과가 딱 두 가지뿐이라면 이야기가 다릅니다. 점수는 0점에서 100점까지 쭉 이어지지만, 합격 여부는 0 아니면 1이라서 직선을 그대로 갖다 쓸 수 없습니다. 로지스틱 회귀는 이럴 때 결과값을 "확률"로 바꿔서, 그 확률이 0과 1 사이에서 S자 모양의 곡선을 그리도록 계산해줍니다. 예를 들어 "공부 시간이 1시간 늘어날 때마다 합격 확률이 몇 % 포인트 올라가는가"를 구할 수 있는 것입니다.

왜 중요한가

로지스틱 회귀는 결과가 이분형(합격/불합격, 발병/비발병, 이탈/잔류)으로 나뉘는 상황이 의학, 사회과학, 마케팅, 머신러닝 등 거의 모든 분야에 걸쳐 흔하기 때문에 가장 널리 쓰이는 통계 기법 중 하나입니다. 예측 확률을 제공하면서도 각 요인의 영향력을 해석 가능한 형태(오즈비)로 보여준다는 점에서, 단순히 예측만 하는 것이 아니라 "왜 그런 결과가 나오는가"를 설명해야 하는 연구에서 특히 선호됩니다.

논문에서는 이렇게 쓰입니다

"흡연 여부, 나이, BMI를 독립변수로 하여 당뇨병 발병 여부를 종속변수로 한 로지스틱 회귀분석을 실시한 결과, 흡연은 당뇨병 발병 위험을 유의하게 증가시켰다(p < 0.05)."

이 문장은 "당뇨병에 걸렸다/안 걸렸다"라는 두 갈래 결과를 놓고, 흡연·나이·BMI 같은 요인들이 그 결과가 나올 확률에 어떤 영향을 미치는지 분석했다는 뜻입니다. 이때 각 요인의 영향력은 흔히 교차비로 표현됩니다.

"고객의 이용 기간, 요금제, 고객센터 문의 횟수를 독립변수로 하여 서비스 해지 여부를 예측하는 로지스틱 회귀모형을 구축한 결과, 문의 횟수가 많을수록 해지 확률이 유의하게 높아졌다."

마케팅 분야에서는 고객이 서비스를 그만둘지(이탈) 계속 쓸지를 예측하는 데 로지스틱 회귀를 사용하며, 어떤 고객 행동이 이탈과 관련 있는지를 파악한다는 뜻입니다.

"이메일의 텍스트 특징을 독립변수로 사용하여 스팸 여부를 분류하는 로지스틱 회귀모형을 학습시킨 결과, 검증 데이터에서 정확도 92%를 달성하였다."

머신러닝에서는 로지스틱 회귀를 이진 분류 문제(스팸/정상 메일 구분)를 푸는 기본적인 분류 알고리즘으로 사용한다는 의미입니다.

조금 더 깊게 보면

로지스틱 회귀는 결과가 성공할 확률을 로짓(logit, 오즈에 로그를 취한 값)이라는 척도로 바꾼 뒤, 이 로짓을 독립변수들의 선형결합으로 모델링하는 일반화선형모형(generalized linear model)의 한 종류입니다. 결과 범주가 세 개 이상인 경우에는 다항 로지스틱 회귀나 순서형 로지스틱 회귀로 확장할 수 있으며, 모형의 적합도는 로그우도, AIC, 또는 ROC 곡선의 AUC 같은 지표로 평가하는 경우가 많습니다. 예측 확률과 실제 관측 결과가 얼마나 잘 맞는지를 확인하기 위해 Hosmer-Lemeshow 검정 같은 적합도 검정을 함께 보고하기도 합니다.

주의할 점

로지스틱 회귀의 계수는 일반 회귀처럼 "결과값이 몇 점 오른다"는 식으로 바로 해석할 수 없습니다. 계수를 지수변환하면 교차비가 되는데, 오즈비 1.5는 "확률이 1.5배"가 아니라 "성공 대 실패의 비율(오즈)이 1.5배"라는 뜻이라 혼동하기 쉽습니다. 또한 독립변수가 여러 개일 때 다중공선성이 있으면 각 변수의 영향력을 제대로 구분하기 어려워집니다.