다중회귀분석 (Multiple Linear Regression)
쉽게 풀면
시험 점수가 공부 시간만이 아니라 수면 시간, 이전 성적 등 여러 요인과 관련될 때, 이들을 한꺼번에 넣어 각 요인의 몫을 따로 보는 방법입니다. 각 변수의 계수는 '다른 변수가 같은 사람들끼리 비교했을 때' 그 변수가 1 늘면 점수가 얼마나 변하는지를 말합니다. 그래서 단순 상관으로는 보이지 않던 관계를 걸러 볼 수 있습니다.
왜 중요한가
사회과학, 보건, 경제 등 관찰 자료를 쓰는 분야에서 가장 널리 쓰이는 분석 도구입니다. 통제변수를 넣어 다른 요인의 영향을 어느 정도 걷어내고 관심 변수의 관계를 추정할 수 있어, 논문의 결과 표에서 매우 자주 만나게 됩니다.
언제 쓰나
종속변수가 연속형이고 설명하려는 요인이 둘 이상일 때 씁니다. 모형은 y = b0 + b1x1 + b2x2 + … + 오차이며, 보통 오차 제곱합을 가장 작게 하는 최소제곱법으로 계수를 구합니다. 목적은 크게 둘입니다.
- 설명·통제: 관심 변수의 효과를 다른 변수가 같다고 둔 상태에서 보려는 경우. 교란변수를 넣어 단순 관계를 걸러 냅니다.
- 예측: 여러 변수로 결과를 가능한 한 잘 맞추려는 경우.
쓰기 전에 선형성, 오차의 독립성, 등분산성, 오차의 정규성을 확인하고(다중회귀분석의 가정), 독립변수끼리 지나치게 상관되지 않는지(다중공선성) 점검합니다(Cohen 외, 2003; Montgomery 외, 2012). 독립변수가 하나뿐인 경우는 단순회귀분석입니다.
결과는 이렇게 읽는다
설명 변수 하나를 추가했을 때 계수가 어떻게 달라지는지 모의자료로 확인해 보겠습니다. 가상의 자료입니다. 난수 시드 42로 200명의 점수를 만들었고 z가 x와 y에 모두 영향을 주는 교란변수가 되도록 설정했으며, 계산은 코드로 확인했습니다(설정한 참값: x의 효과 0.3, z의 효과 0.5).
| 모형 | x의 계수 (SE) | z의 계수 (SE) | R² | 수정 R² |
|---|---|---|---|---|
| x만 넣음 (단순회귀) | 0.54 (0.08) | — | .184 | — |
| x와 z를 함께 넣음 | 0.34 (0.09) | 0.43 (0.09) | .260 | .253 |
z를 통제하자 x의 계수가 0.54에서 0.34로 줄어 참값에 가까워졌습니다. x와 z의 상관은 .50이고 분산팽창계수는 1.34로 공선성 걱정이 크지 않은 수준이었습니다. 이처럼 계수는 “다른 변수가 같다고 둘 때의 효과”이므로, 어떤 변수를 함께 넣느냐에 따라 값과 해석이 달라집니다.
읽는 순서는 보통 다음과 같습니다: ① 모형 전체의 F검정 → ② 설명력(R², 수정 R²) → ③ 각 계수의 크기·표준오차·신뢰구간·p값 → ④ 가정과 이상치 진단. 이 예에서는 F(2, 197) = 34.6, p < .001, x의 계수 t = 3.81, z의 계수 t = 4.49였습니다. 계수의 크기를 서로 비교하려면 표준화 계수(표준화 회귀계수)가 필요하며, 이 예에서는 x가 .27, z가 .32였습니다.
논문에는 이렇게 보고한다
- 종속변수와 모든 독립변수, 범주형 변수는 어떻게 부호화했는지(더미 변수의 기준 범주)
- 표본 수와 결측 처리 방법
- 모형 정보: F검정, R², 수정 R²
- 계수 표: 비표준화 계수 b, 표준오차, 95% 신뢰구간, 표준화 계수 β, t, p. 분산팽창계수 같은 공선성 진단
- 가정 점검 결과(잔차 그림, 이상치·영향점)
- 변수를 단계적으로 투입했다면 그 순서와 근거. 단계적 선택은 자료에 과하게 맞출 수 있으므로, 이론에 따른 투입이면 위계적 회귀분석으로 표시합니다.
예: z를 통제한 모형은 통계적으로 유의하였고(F(2, 197) = 34.6, p < .001), 수정 R²는 .25였다. x의 계수는 b = 0.34 (SE = 0.09, 95% CI [0.16, 0.51], p < .001)였다(가상의 값).
‘통제했다’는 말이 모든 교란을 제거했다는 뜻은 아니며, 모형에 넣지 못한 변수가 있으면 계수는 여전히 편향될 수 있습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“본 연구를 위해 2개 종합병원으로부터 211명의 간호사를 대상으로 설문조사를 실시하였으며 수집된 자료는 서술통계, 상관관계, 그리고 동시적 다중회귀분석으로 분석하였다.”
종합병원 간호사의 잡 크래프팅, 환자안전문화인식과 환자안전관리활동, 간호행정학회지, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
통제변수를 포함한 모형에서 관심 변수의 관계를 보고하는 흔한 문장입니다.
독립변수 사이의 중복 정도를 점검했다는 서술이며, 허용 기준은 분야마다 약간 다릅니다.
모형 전체의 F검정과 변수 수를 보정한 설명력을 함께 보고하는 전형적인 형식입니다.
조금 더 깊게 보면
모형 전체의 유의성은 F검정으로, 각 계수는 t검정으로 확인하고, 설명력은 결정계수와 변수 수의 영향을 보정한 수정 결정계수로 봅니다. 독립변수끼리 강하게 상관되면 다중공선성 때문에 계수의 표준오차가 커지고 부호가 불안정해지는데, 분산팽창계수로 점검합니다. 범주형 변수는 더미 변수로 바꾸어 넣고, 효과가 변수에 따라 달라지는 경우에는 상호작용항을 넣습니다. 단순회귀와 마찬가지로 선형성, 독립성, 등분산성, 정규성 가정을 확인해야 합니다.
주의할 점
용어에 주의해야 합니다. 독립변수가 여러 개인 회귀는 '다중(multiple)'회귀이고, 종속변수가 여러 개인 경우는 다변량(multivariate)회귀이지만 일상적으로 섞어 쓰는 글도 많습니다. 또 변수를 많이 넣을수록 설명력은 올라가지만 과적합될 수 있고, '통제했다'는 표현이 모든 교란을 제거했다는 뜻은 아닙니다.
모형에 넣지 못한 변수가 있다면 계수는 여전히 편향될 수 있으며, 계수의 크기를 비교하려면 단위를 맞춘 표준화 계수를 쓰거나 해석에 주의해야 합니다.
헷갈리기 쉬운 용어
이름이 비슷한 회귀분석이 여럿이어서 변수 구성으로 구분합니다.
| 용어 | 독립변수 | 종속변수 |
|---|---|---|
| 단순회귀분석 | 1개 | 연속형 1개 |
| 다중회귀분석 | 2개 이상 | 연속형 1개 |
| 위계적 회귀분석 | 2개 이상, 이론에 따라 단계적으로 투입 | 연속형 1개 (다중회귀의 투입 방식) |
| 로지스틱 회귀 | 1개 이상 | 이분형 등 범주형 |
| 다변량 회귀 | 1개 이상 | 연속형 2개 이상 |
‘다중(multiple)’은 독립변수가 여럿인 경우를, ‘다변량(multivariate)’은 종속변수가 여럿인 경우를 가리키는 것이 엄밀한 용법입니다.
참고 문헌
- Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (3rd ed.). Lawrence Erlbaum Associates.
- Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis (5th ed.). John Wiley & Sons.
- Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). Applied Linear Statistical Models (5th ed.). McGraw-Hill/Irwin.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.