용어 목록 > 다중공선성 (Multicollinearity)

다중공선성 (Multicollinearity)

통계
한 줄 정의: 회귀분석에서 설명변수들끼리 서로 강하게 상관되어 있어, 각 변수의 개별적인 효과를 정확히 구분해내기 어려운 상태입니다.

쉽게 풀면

두 사람이 완전히 똑같은 타이밍에 똑같은 말을 계속 따라 한다고 생각해봅시다. 누가 먼저 그 말을 "만들어낸" 사람인지 구분할 수 없겠죠. 회귀분석에서도 비슷한 일이 벌어집니다.

예를 들어 "키"와 "몸무게"를 동시에 독립변수로 넣어 어떤 결과를 예측한다고 하면, 키가 큰 사람은 대체로 몸무게도 많이 나가기 때문에 두 변수가 거의 같은 정보를 중복해서 담고 있게 됩니다. 이렇게 되면 모델은 "키 때문에 결과가 변했는지, 몸무게 때문에 변했는지"를 명확히 구분하지 못하고 계수 추정치가 불안정해집니다.

다중공선성은 바로 이렇게 설명변수들이 서로 너무 닮아서 각자의 몫을 가려내기 어려운 상황을 말합니다.

왜 중요한가

회귀분석을 이용한 논문에서는 각 독립변수가 종속변수에 미치는 개별적인 영향을 해석하는 것이 핵심인데, 다중공선성이 존재하면 이 해석 자체가 신뢰할 수 없게 됩니다. 그래서 사회과학, 경영학, 의학 등 회귀모형을 사용하는 거의 모든 실증연구 논문에서 본격적인 분석에 앞서 다중공선성 점검을 거치는 것이 관행처럼 자리잡았습니다.

이를 소홀히 하면 통계적으로 유의하지 않아야 할 변수가 유의하게 나오거나, 계수의 부호가 이론과 반대로 뒤집히는 등 결과 해석 자체가 왜곡될 수 있습니다.

핵심 정리

예시로 보기

모의 자료(n = 100, 계산 결과)로 확인해 봅시다. x₁과 x₂의 상관이 .868이고, 실제 모형은 y = 1 + 1·x₁ + 1·x₂ + 오차입니다.

모형x₁의 계수 (표준오차)x₂의 계수 (표준오차)
x₁, x₂ 모두 포함1.02 (0.22)0.97 (0.21)
x₁만 포함1.87 (0.12)—

자주 하는 오해

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"독립변수 간 다중공선성 여부를 확인하기 위해 분산팽창지수(VIF)를 산출한 결과, 모든 변수에서 VIF가 10 미만으로 나타나 다중공선성 문제는 없는 것으로 판단되었다."

이 문장은 "회귀모형에 넣은 여러 독립변수들이 서로 심하게 얽혀 있지는 않은지 미리 점검했고, 그 결과 문제가 될 정도는 아니었다"는 뜻입니다. VIF(분산팽창지수)는 다중공선성의 정도를 가늠하는 대표적인 지표입니다.

"설문 문항 간 상관행렬을 검토한 결과 일부 변수 쌍에서 상관계수가 0.8을 초과하여 다중공선성 우려가 제기되었고, 이에 두 변수 중 하나를 분석에서 제외하였다."

설문 기반 연구에서 변수 간 상관관계를 미리 확인해 다중공선성이 의심되는 변수를 제거하는 조치를 취한 예다.

"기존 변수들 간 다중공선성이 확인됨에 따라 능형회귀(ridge regression)를 대안적 분석 방법으로 채택하였다."

다중공선성 문제를 해결하기 위해 일반 회귀 대신 이를 보완하는 통계기법을 적용한 사례다.

조금 더 깊게 보면

VIF 외에도 상관행렬을 직접 검토하거나, 상태지수(condition index)와 같은 지표로 다중공선성을 진단하는 방법이 있습니다. 문제가 확인되었을 때는 상관이 높은 변수 중 하나를 제거하거나, 여러 변수를 하나의 지표로 합치는 방법, 혹은 능형회귀나 주성분회귀처럼 다중공선성에 덜 민감한 추정 방법을 사용하는 방법이 흔히 논의됩니다. 다만 어떤 방법을 쓰든 이론적 타당성을 우선 고려해 변수를 다뤄야 한다는 점이 강조됩니다.

주의할 점

VIF가 기준값(흔히 10) 미만이라고 해서 다중공선성이 "전혀 없다"는 뜻은 아니며, 연구 분야나 표본 크기에 따라 더 엄격한 기준(예: 5)을 적용하기도 합니다. 또한 다중공선성은 회귀분석의 예측력 자체를 크게 떨어뜨리기보다는, 개별 변수 계수의 해석과 표준오차를 불안정하게 만든다는 점을 기억해야 합니다.

헷갈리기 쉬운 용어

‘변수들의 상관’이 문제를 일으키는 방식이 다릅니다.

용어무엇이 무엇과 상관되나문제
다중공선성설명변수끼리계수 추정이 불안정(표준오차 증가)
내생성설명변수와 오차항계수가 치우침(편향)
VIF—다중공선성의 정도를 재는 지표
상관관계두 변수다중공선성을 의심하게 하는 단서(쌍별만 볼 수 있음)
능형회귀—다중공선성이 있을 때 쓰는 대응 방법 중 하나

다중공선성은 ‘추정이 불안정’한 문제이고, 내생성은 ‘추정이 틀리게 수렴’하는 문제입니다. 해결책도 다릅니다.

참고 문헌

  1. Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. Wiley.
  2. Farrar, D. E., & Glauber, R. R. (1967). Multicollinearity in regression analysis: The problem revisited. The Review of Economics and Statistics, 49(1), 92–107.
  3. O'Brien, R. M. (2007). A caution regarding rules of thumb for variance inflation factors. Quality & Quantity, 41(5), 673–690.
  4. Graham, M. H. (2003). Confronting multicollinearity in ecological multiple regression. Ecology, 84(11), 2809–2815.
  5. Dormann, C. F., Elith, J., Bacher, S., et al. (2013). Collinearity: A review of methods to deal with it and a simulation study evaluating their performance. Ecography, 36(1), 27–46.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어

결정계수 로지스틱 회귀 분산분석 회귀분석 상관관계 등분산성과 이분산성 쿡의 거리 더빈-왓슨 검정