로지스틱 회귀 (logistic regression)

통계
한 줄 정의: 결과가 "예/아니오"처럼 두 가지 중 하나로 나뉠 때, 어떤 요인이 그 결과가 나올 확률을 얼마나 높이거나 낮추는지 분석하는 통계 기법입니다.
로지스틱 회귀로지스틱 회귀: 가로축 선형 예측값 (로짓), 세로축 결과 확률 (0~1). 예측 확률: S자 곡선. 기준선: 로짓 0 → 확률 0.5.결과 확률 (0~1)로짓 0 → 확률 0.5선형 예측값 (로짓)예측 확률S자라서 확률이 몇 %p 오르는지는 출발점에 따라 다름한계오즈비 1.5는 확률 1.5배가 아니라 오즈 1.5배로지스틱 회귀로지스틱 회귀: 가로축 선형 예측값 (로짓), 세로축 결과 확률 (0~1). 예측 확률: S자 곡선. 기준선: 로짓 0 → 확률 0.5.결과 확률 (0~1)로짓 0 → 확률 0.5선형 예측값 (로짓)예측 확률S자라서 확률이 몇 %p 오르는지는 출발점에 따라 다름한계오즈비 1.5는 확률 1.5배가 아니라 오즈 1.5배
개념 설명용 모식도 — 실제 데이터가 아닙니다

쉽게 풀면

일반적인 회귀분석은 "공부 시간이 늘면 시험 점수가 몇 점 오르는가"처럼 숫자로 된 결과를 예측합니다. 하지만 "이 학생이 합격할 것인가, 불합격할 것인가"처럼 결과가 딱 두 가지뿐이라면 이야기가 다릅니다. 점수는 0점에서 100점까지 쭉 이어지지만, 합격 여부는 0 아니면 1이라서 직선을 그대로 갖다 쓸 수 없습니다.

로지스틱 회귀는 이럴 때 결과값을 "확률"로 바꿔서, 그 확률이 0과 1 사이에서 S자 모양의 곡선을 그리도록 계산해줍니다. 예를 들어 "공부 시간이 1시간 늘어날 때마다 합격할 오즈(합격 대 불합격의 비)가 몇 배가 되는가"를 구할 수 있습니다.

S자 곡선이기 때문에 확률 자체가 몇 %포인트 오르는지는 출발점에 따라 달라집니다.

왜 중요한가

로지스틱 회귀는 결과가 이분형(합격/불합격, 발병/비발병, 이탈/잔류)으로 나뉘는 상황이 의학, 사회과학, 마케팅, 머신러닝 등 거의 모든 분야에 걸쳐 흔하기 때문에 가장 널리 쓰이는 통계 기법 중 하나입니다. 예측 확률을 제공하면서도 각 요인의 영향력을 해석 가능한 형태(오즈비)로 보여준다는 점에서, 단순히 예측만 하는 것이 아니라 "왜 그런 결과가 나오는가"를 설명해야 하는 연구에서 특히 선호됩니다.

언제 쓰나

결과가 두 범주(발병/비발병, 합격/불합격)일 때 어떤 요인이 그 결과의 가능성과 관련되는지 분석합니다. 선형회귀는 결과를 0~1 밖으로 예측할 수 있는 반면, 로지스틱 회귀는 확률을 로짓(오즈의 로그)으로 바꿔 선형식으로 모델링해 예측 확률이 항상 0~1 안에 들어옵니다.

ln( p / (1 − p) ) = b₀ + b₁x₁ + b₂x₂ + …

결과는 이렇게 읽는다

가상의 예: 노출군 100명 중 30명, 비노출군 100명 중 15명에게 사건이 발생했습니다.

논문에는 이렇게 보고한다

비표준화 계수(B)와 표준오차 또는 오즈비와 95% 신뢰구간, 유의확률, 모형 적합도, 사건 수를 보고합니다. (위 가상 자료 기준)

노출은 사건 발생 위험을 유의하게 높였다(OR = 2.43, 95% CI [1.21, 4.87], p = .012). 사건은 200명 중 45명(22.5%)에서 발생하였다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"흡연 여부, 나이, BMI를 독립변수로 하여 당뇨병 발병 여부를 종속변수로 한 로지스틱 회귀분석을 실시한 결과, 흡연은 당뇨병 발병 위험을 유의하게 증가시켰다(p < 0.05)."

이 문장은 "당뇨병에 걸렸다/안 걸렸다"라는 두 갈래 결과를 놓고, 흡연·나이·BMI 같은 요인들이 그 결과가 나올 확률에 어떤 영향을 미치는지 분석했다는 뜻입니다. 이때 각 요인의 영향력은 흔히 교차비(오즈비)로 표현됩니다.

"고객의 이용 기간, 요금제, 고객센터 문의 횟수를 독립변수로 하여 서비스 해지 여부를 예측하는 로지스틱 회귀모형을 구축한 결과, 문의 횟수가 많을수록 해지 확률이 유의하게 높아졌다."

마케팅 분야에서는 고객이 서비스를 그만둘지(이탈) 계속 쓸지를 예측하는 데 로지스틱 회귀를 사용하며, 어떤 고객 행동이 이탈과 관련 있는지를 파악한다는 뜻입니다.

"이메일의 텍스트 특징을 독립변수로 사용하여 스팸 여부를 분류하는 로지스틱 회귀모형을 학습시킨 결과, 검증 데이터에서 정확도 92%를 달성하였다."

머신러닝에서는 로지스틱 회귀를 이진 분류 문제(스팸/정상 메일 구분)를 푸는 기본적인 분류 알고리즘으로 사용한다는 의미입니다.

조금 더 깊게 보면

로지스틱 회귀는 결과가 성공할 확률을 로짓(logit, 오즈에 로그를 취한 값)이라는 척도로 바꾼 뒤, 이 로짓을 독립변수들의 선형결합으로 모델링하는 일반화선형모형(generalized linear model)의 한 종류입니다.

결과 범주가 세 개 이상인 경우에는 다항 로지스틱 회귀나 순서형 로지스틱 회귀로 확장할 수 있으며, 모형의 적합도는 로그우도, AIC, 또는 ROC 곡선의 AUC 같은 지표로 평가하는 경우가 많습니다.

예측 확률과 실제 관측 결과가 얼마나 잘 맞는지를 확인하기 위해 Hosmer-Lemeshow 검정 같은 적합도 검정을 함께 보고하기도 합니다.

주의할 점

로지스틱 회귀의 계수는 일반 회귀처럼 "결과값이 몇 점 오른다"는 식으로 바로 해석할 수 없습니다. 계수를 지수변환하면 교차비(오즈비)가 되는데, 오즈비 1.5는 "확률이 1.5배"가 아니라 "성공 대 실패의 비율(오즈)이 1.5배"라는 뜻이라 혼동하기 쉽습니다. 또한 독립변수가 여러 개일 때 다중공선성이 있으면 각 변수의 영향력을 제대로 구분하기 어려워집니다.

헷갈리기 쉬운 용어

로지스틱 회귀 결과는 이름이 비슷한 세 가지 척도로 나옵니다.

용어정의예(위 자료)
위험(확률)사건 수 / 전체노출군 .30, 비노출군 .15
오즈사건 / 비사건노출군 .429, 비노출군 .176
상대위험도(RR)두 집단 위험의 비2.0
오즈비(OR)두 집단 오즈의 비 = exp(로지스틱 계수)2.43
일반화선형모형로지스틱 회귀가 속한 모형군로짓 연결함수, 이항분포

사건이 드물면(대략 10% 미만) OR이 RR과 비슷해지지만, 흔하면 OR이 RR보다 훨씬 커 보입니다.

참고 문헌

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society: Series B, 20(2), 215–242.
  2. Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). Wiley.
  3. Peduzzi, P., Concato, J., Kemper, E., Holford, T. R., & Feinstein, A. R. (1996). A simulation study of the number of events per variable in logistic regression analysis. Journal of Clinical Epidemiology, 49(12), 1373–1379.
  4. Mood, C. (2010). Logistic regression: Why we cannot do what we think we can do, and what we can do about it. European Sociological Review, 26(1), 67–82.
  5. Agresti, A. (2013). Categorical data analysis (3rd ed.). Wiley.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

개념 계통

분야 전체 개념 지도 보기 →

관련 용어