다중회귀분석의 가정

한 줄 정의: 다중회귀분석 결과를 믿을 수 있으려면 데이터가 반드시 만족해야 하는 네 가지 전제 조건(선형성·독립성·등분산성·정규성)입니다.

쉽게 풀면

다중회귀분석은 "이 조건들이 지켜졌다"는 전제 위에서 계수와 p-value를 계산합니다. 전제가 깨지면 계산 자체는 되지만 결과를 믿을 수 없게 됩니다.

첫째 선형성은 독립변수와 종속변수가 직선 관계에 가까워야 한다는 것, 둘째 독립성은 각 관측치의 오차가 서로 영향을 주고받지 않아야 한다는 것(같은 사람을 여러 번 측정하거나 시계열처럼 순서가 있으면 깨지기 쉽습니다), 셋째 등분산성은 예측값이 크든 작든 오차가 퍼진 정도가 일정해야 한다는 것, 넷째 정규성은 오차(잔차)가 대략 정규분포를 따라야 한다는 것입니다.

이 네 가지를 통틀어 "회귀분석의 가정"이라고 부르며, 논문에서는 보통 잔차 그래프나 검정을 통해 이를 확인했다고 밝힙니다.

왜 중요한가

회귀분석의 가정은 계수 추정치와 p-value, 신뢰구간의 타당성을 뒷받침하는 근거이기 때문에, 회귀모형을 사용하는 거의 모든 실증 연구에서 확인 절차로 다뤄집니다. 가정이 크게 어긋난 상태로 결과를 해석하면 통계적으로 유의하다고 나온 관계가 실제로는 신뢰할 수 없는 결과일 수 있어, 심리학·경제학·의학 등 회귀분석을 자주 사용하는 분야에서 방법론적 엄격성을 판단하는 기준으로 사용됩니다.

핵심 정리

회귀분석의 가정은 변수 자체가 아니라 오차(잔차)에 대한 것이 대부분입니다. 선형 회귀에서 흔히 말하는 네 가지는 다음과 같습니다.
선형성: 결과의 평균이 계수의 선형식으로 표현된다(곡선 관계라면 제곱항 등을 넣어 해결).
독립성: 관측치의 오차가 서로 관련이 없다(반복 측정, 같은 집단, 시계열에서 깨지기 쉬움).
등분산성: 예측값이 어떻든 오차의 흩어짐이 같다.
정규성: 오차가 정규분포를 따른다(주로 표본이 작을 때 p값·신뢰구간에 영향).
여기에 설명변수 사이의 완전한 공선성이 없을 것, 소수의 관측치가 결과를 좌우하지 않을 것도 실무에서 함께 점검합니다.

가정	깨지면	점검	흔한 대응
선형성	계수가 편향되고 예측이 빗나감	잔차-예측값 도표	변수 변환, 다항항, 비선형 모형
독립성	표준오차가 과소 → p값이 너무 좋게 나옴	설계 확인, 더빈-왓슨 검정	혼합효과모형, 군집 표준오차
등분산성	계수는 그대로지만 표준오차가 부정확	잔차 도표, 브로이슈-페이건 검정	강건 표준오차, 가중최소제곱
정규성	소표본에서 p값·구간 부정확	Q-Q 플롯	표본이 크면 영향이 작음, 변환·부트스트랩

가정의 중요도는 같지 않습니다. 선형성과 올바른 모형 설정이 가장 중요하고 정규성은 가장 덜 중요하다는 정리가 자주 인용됩니다(Gelman & Hill, 2007).

예시로 보기

Anscombe(1973)의 유명한 네 자료 세트는 각각 11개 점으로 이루어져 있는데, 네 세트 모두 회귀식이 ŷ = 3.00 + 0.500x, 상관계수 r = .816, R² = .67로 소수 둘째 자리까지 거의 같습니다. 그런데 산점도를 그리면 전혀 다릅니다.

세트 1: 직선 주위에 고르게 흩어진 점 — 가정이 대체로 맞는 경우.
세트 2: 뚜렷한 곡선(포물선) 관계 — 선형성 위반.
세트 3: 점 하나가 직선에서 크게 벗어난 이상치 — 그 점 하나가 기울기를 바꿈.
세트 4: x 값이 하나만 19이고 나머지가 모두 8 — 점 하나가 회귀선을 좌우하는 영향점.

같은 요약 수치(계수, R², p)가 서로 다른 구조를 가리고 있을 수 있으므로 수치만 보고 가정을 믿지 말고 도표를 그려 확인해야 한다는 것이 이 예의 교훈입니다.

자주 하는 오해

오해	바로잡기
독립변수와 종속변수가 모두 정규분포여야 한다.	정규성은 변수가 아니라 오차(잔차)에 대한 가정이며, 설명변수는 정규일 필요가 없습니다(예: 0/1 더미 변수도 쓰임).
정규성 검정이 유의하면 회귀분석을 쓸 수 없다.	표본이 크면 사소한 벗어남에도 검정이 유의해집니다. 표본이 클수록 정규성 위반의 영향은 오히려 작아지는 편입니다(Lumley 외, 2002). Q-Q 도표로 벗어난 정도를 봅니다.
이분산성이면 회귀계수가 틀린다.	계수 추정치 자체는 여전히 불편이지만, 표준오차와 p값이 부정확해집니다.
가정을 한 번 검정해서 통과하면 끝이다.	검정은 표본 크기에 의존합니다. 통과했다고 해서 가정이 맞다는 증명이 아니고, 어긋나도 영향이 작을 수 있습니다. 도표와 영향력 진단을 병행합니다.
가정이 일부 깨졌으니 분석을 버려야 한다.	어떤 가정이 얼마나 깨졌는지에 따라 강건 표준오차, 변환, 다른 모형 등으로 대응할 수 있습니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"다중회귀분석에 앞서 선형성, 독립성, 등분산성, 정규성 가정이 충족되는지 확인하였다."

이 문장은 "회귀모형을 돌리기 전에, 그 결과가 믿을 만한지 좌우하는 네 가지 전제 조건을 미리 점검했다"는 뜻입니다.

"잔차의 산점도를 검토한 결과 등분산성 가정이 위배되는 것으로 판단되어, 강건표준오차(robust standard error)를 적용하여 재분석하였다."

이 문장은 오차의 퍼짐 정도가 일정하지 않다는 문제가 발견되자, 이를 무시하지 않고 통계적으로 보정하는 방법을 적용해 결과의 신뢰성을 높였다는 의미입니다. 경제학이나 계량경제 연구에서 흔히 볼 수 있는 대응 방식입니다.

조금 더 깊게 보면

실제 논문에서는 네 가지 가정 외에도 독립변수들 사이의 상관이 지나치게 높지 않아야 한다는 다중공선성(multicollinearity) 문제를 함께 점검하는 경우가 많으며, 이는 흔히 분산팽창지수(VIF)로 확인합니다.

등분산성은 Breusch-Pagan 검정 등으로, 정규성은 Shapiro-Wilk 검정이나 Q-Q plot으로 확인하는 것이 일반적입니다. 가정이 위배되었을 때는 변수를 변환하거나, 강건표준오차를 사용하거나, 회귀 대신 다른 분석 기법을 택하는 등 여러 대응 방법이 쓰입니다.

주의할 점

가정이 일부 어긋난다고 해서 분석 결과를 무조건 버려야 하는 것은 아니지만, 어떤 가정이 얼마나 깨졌는지에 따라 결과 해석에 신중해야 합니다. 실제로 가정이 지켜졌는지는 잔차분석을 통해 구체적으로 점검합니다.

헷갈리기 쉬운 용어

가정과 점검 도구를 구별해 두면 논문 방법 절을 읽기 쉽습니다.

용어	정체	가정과의 관계
회귀분석의 가정	오차에 대한 전제(선형·독립·등분산·정규)	점검 대상
잔차분석	잔차 도표와 통계량으로 가정을 점검하는 절차	점검 방법
다중공선성	설명변수끼리 상관이 높은 문제	추정 불안정(가정이라기보다 진단 항목)
쿡의 거리	한 관측치가 결과를 얼마나 바꾸는지	영향점 진단

“가정을 검정한다”는 말은 가정이 맞는지 최종 판정을 내린다는 뜻이 아니라 어긋남의 증거를 확인한다는 뜻에 가깝습니다.

참고 문헌

Anscombe, F. J. (1973). Graphs in statistical analysis. The American Statistician, 27(1), 17–21.
Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.
Fox, J. (2016). Applied regression analysis and generalized linear models (3rd ed.). Sage.
Lumley, T., Diehr, P., Emerson, S., & Chen, L. (2002). The importance of the normality assumption in large public health data sets. Annual Review of Public Health, 23, 151–169.
Williams, M. N., Grajales, C. A. G., & Kurkiewicz, D. (2013). Assumptions of multiple regression: Correcting two misconceptions. Practical Assessment, Research & Evaluation, 18(11).

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.