다중회귀분석의 가정

통계
한 줄 정의: 다중회귀분석 결과를 믿을 수 있으려면 데이터가 반드시 만족해야 하는 네 가지 전제 조건(선형성·독립성·등분산성·정규성)입니다.

쉽게 풀면

다중회귀분석은 "이 조건들이 지켜졌다"는 전제 위에서 계수와 p-value를 계산합니다. 전제가 깨지면 계산 자체는 되지만 결과를 믿을 수 없게 됩니다. 첫째 선형성은 독립변수와 종속변수가 직선 관계에 가까워야 한다는 것, 둘째 독립성은 각 관측치의 오차가 서로 영향을 주고받지 않아야 한다는 것(같은 사람을 여러 번 측정하거나 시계열처럼 순서가 있으면 깨지기 쉽습니다), 셋째 등분산성은 예측값이 크든 작든 오차가 퍼진 정도가 일정해야 한다는 것, 넷째 정규성은 오차(잔차)가 대략 정규분포를 따라야 한다는 것입니다. 이 네 가지를 통틀어 "회귀분석의 가정"이라고 부르며, 논문에서는 보통 잔차 그래프나 검정을 통해 이를 확인했다고 밝힙니다.

왜 중요한가

회귀분석의 가정은 계수 추정치와 p-value, 신뢰구간의 타당성을 뒷받침하는 근거이기 때문에, 회귀모형을 사용하는 거의 모든 실증 연구에서 확인 절차로 다뤄집니다. 가정이 크게 어긋난 상태로 결과를 해석하면 통계적으로 유의하다고 나온 관계가 실제로는 신뢰할 수 없는 결과일 수 있어, 심리학·경제학·의학 등 회귀분석을 자주 사용하는 분야에서 방법론적 엄격성을 판단하는 기준으로 사용됩니다.

논문에서는 이렇게 쓰입니다

"다중회귀분석에 앞서 선형성, 독립성, 등분산성, 정규성 가정이 충족되는지 확인하였다."

이 문장은 "회귀모형을 돌리기 전에, 그 결과가 믿을 만한지 좌우하는 네 가지 전제 조건을 미리 점검했다"는 뜻입니다.

"잔차의 산점도를 검토한 결과 등분산성 가정이 위배되는 것으로 판단되어, 강건표준오차(robust standard error)를 적용하여 재분석하였다."

이 문장은 오차의 퍼짐 정도가 일정하지 않다는 문제가 발견되자, 이를 무시하지 않고 통계적으로 보정하는 방법을 적용해 결과의 신뢰성을 높였다는 의미입니다. 경제학이나 계량경제 연구에서 흔히 볼 수 있는 대응 방식입니다.

조금 더 깊게 보면

실제 논문에서는 네 가지 가정 외에도 독립변수들 사이의 상관이 지나치게 높지 않아야 한다는 다중공선성(multicollinearity) 문제를 함께 점검하는 경우가 많으며, 이는 흔히 분산팽창지수(VIF)로 확인합니다. 등분산성은 Breusch-Pagan 검정 등으로, 정규성은 Shapiro-Wilk 검정이나 Q-Q plot으로 확인하는 것이 일반적입니다. 가정이 위배되었을 때는 변수를 변환하거나, 강건표준오차를 사용하거나, 회귀 대신 다른 분석 기법을 택하는 등 여러 대응 방법이 쓰입니다.

주의할 점

가정이 일부 어긋난다고 해서 분석 결과를 무조건 버려야 하는 것은 아니지만, 어떤 가정이 얼마나 깨졌는지에 따라 결과 해석에 신중해야 합니다. 실제로 가정이 지켜졌는지는 잔차분석을 통해 구체적으로 점검합니다.

관련 용어