용어 목록 > 회귀분석 (Regression Analysis)

회귀분석 (Regression Analysis)

쉽게 풀면

상관관계가 "두 값이 함께 움직이는 정도"만 보여준다면, 회귀분석은 한 걸음 더 나아가 "공부 시간이 1시간 늘면 시험 점수는 평균 몇 점 오르는가"처럼 구체적인 영향의 크기를 수식(직선의 기울기 같은 형태)으로 계산해줍니다. 여러 개의 원인 변수를 동시에 넣어서 "다른 조건이 같을 때 이 변수만의 순수한 영향력"을 따로 떼어볼 수도 있습니다.

왜 중요한가

회귀분석은 변수 간의 관계를 정량적으로 요약하는 가장 기본적인 통계 도구이기 때문에, 사회과학·의학·경제학·공학 등 데이터를 다루는 거의 모든 분야의 논문에서 등장합니다.

단순히 두 변수의 관계를 확인하는 데 그치지 않고, 여러 변수를 통제한 상태에서 특정 변수의 순수한 영향을 추정할 수 있어 정책 평가나 원인 탐색 연구의 핵심 분석 방법으로 자리 잡고 있습니다. 이후 등장하는 로지스틱회귀, 다층모형 등 더 복잡한 통계 기법들도 대부분 회귀분석의 개념을 확장한 형태입니다.

언제 쓰나

결과변수(종속변수)를 하나 이상의 설명변수로 설명하거나 예측하고 싶을 때 씁니다. 목적은 크게 세 가지로 나뉩니다.

• 예측: 새로운 대상의 결과값을 어림합니다(예: 공부 시간으로 점수 예측).
• 연관의 크기 추정: “설명변수가 1단위 늘 때 결과가 평균적으로 얼마나 달라지는가”를 구합니다.
• 다른 변수의 통제: 여러 설명변수를 한꺼번에 넣어 “나머지가 같을 때” 한 변수의 몫을 가려 봅니다.

결과변수의 종류에 따라 모형이 달라집니다.

선형회귀가 믿을 만하려면 선형성·오차의 독립성·등분산성·정규성 같은 가정이 필요합니다(회귀분석의 가정).

결과는 이렇게 읽는다

가상의 예: 공부 시간(시간) x = 1, 2, 2, 3, 4, 4, 5, 6, 7, 8과 시험 점수 y = 52, 55, 60, 58, 65, 68, 70, 72, 80, 79 (n = 10)를 단순회귀로 분석했습니다.

• 회귀식 ŷ = 48.76 + 4.08x. 공부를 1시간 더 한 사람은 평균적으로 점수가 약 4.1점 높습니다(관찰된 범위에서의 평균적 차이).
• 기울기의 검정: SE = 0.35, t(8) = 11.66, p < .001, 95% CI [3.27, 4.89]. 자유도는 n − (추정한 계수 수) = 10 − 2 = 8입니다.
• 절편 48.76(SE 1.66)은 x = 0일 때의 예측값인데, 자료에 0시간이 없으므로(1~8시간) 실제 의미를 두기 어렵습니다. 관찰 범위 밖으로 식을 늘려 쓰는 것을 외삽이라 하며 조심해야 합니다.
• R² = .944: 점수 변동의 약 94%가 직선 관계로 설명됩니다. 수정 R² = .938. 잔차의 표준오차 s = 2.41점은 예측이 평균적으로 그만큼 빗나간다는 뜻입니다.
• F(1, 8) = 136.03은 모형 전체의 검정이며, 설명변수가 하나뿐이면 t² (= 11.66²)와 같습니다.
• 단순회귀의 표준화 계수 β = .97은 상관계수 r과 같습니다. x = 5일 때 예측 평균은 69.2점입니다.

다중회귀에서는 기울기가 “다른 변수를 고정했을 때”의 값이 되고, 설명변수끼리 상관이 높으면 계수가 불안정해집니다(다중공선성). 관찰 자료의 회귀계수는 연관이지 인과가 아닙니다.

논문에는 이렇게 보고한다

비표준화 계수(b), 표준오차 또는 신뢰구간, 표준화 계수(β), t 또는 p, 모형의 R²와 F를 보고합니다. (위 가상 자료 기준)

공부 시간은 시험 점수를 유의하게 예측하였다, b = 4.08, SE = 0.35, β = .97, t(8) = 11.66, p < .001, 95% CI [3.27, 4.89]. 모형은 점수 분산의 94%를 설명하였다, R² = .94, F(1, 8) = 136.03, p < .001.

• 다중회귀에서는 표에 모든 설명변수의 b, SE, β, p, VIF(다중공선성 점검)를 싣고, 표본 수와 결측 처리 방법을 밝힙니다.
• 가정 점검(잔차 도표, 정규성, 등분산성, 영향력 진단)을 했다는 한 줄을 방법 절에 넣습니다.
• ‘영향을 미친다’는 표현은 인과를 암시하므로, 관찰 자료에서는 ‘예측한다’, ‘관련된다’가 더 안전합니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

• “설문지에서 세 가지 요인, 즉 흥미, 유용성, 미래진로를 추출하여 회귀분석을 실시하였다.”

  회계학 입문과목이 회계전공 선택에 미치는 영향, 회계와 정책연구, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗

• “이를 위해 101명 환자들의 유머양식, 삶의 만족도, 우울, 불안 자료를 상관분석한 뒤 위계적 회귀분석을 통해 유머양식의 조절효과를 분석했다.”

  정신건강의학과 환자들의 우울 및 불안이 삶의 만족도에 미치는 영향 : 유머양식의 조절효과, 한국융합학회논문지, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗

• “또한 지역의 다양한 환경 변수들과의 다변량 회귀분석을 통해 성폭력 범죄의 환경 특성 요인을 도출하였다.”

  성폭력 범죄의 공간적 분포 특성에 관한 연구: 환경범죄학에 기반한 공간 분석, 대한지리학회지, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

운동 시간과 스트레스 점수 사이의 관계를 수식으로 추정해서, 운동 시간이 늘어날 때 스트레스 점수가 구체적으로 얼마나 줄어드는지 보여준 것입니다.

이 문장은 소득이라는 다른 요인의 영향을 수식으로 걷어낸 뒤에도, 교육연수 자체가 삶의 만족도와 독립적으로 관련이 있다는 것을 보여줍니다. 여러 변수를 동시에 고려하는 다중회귀분석의 전형적인 활용 방식입니다.

조금 더 깊게 보면

회귀분석은 독립변수와 종속변수의 형태에 따라 여러 종류로 나뉘는데, 독립변수가 하나면 단순회귀, 여럿이면 다중회귀라고 부르며, 종속변수가 범주형(예: 성공/실패)이면 일반적인 선형회귀 대신 로지스틱회귀를 사용합니다.

계수(β)의 크기와 부호는 각 변수가 종속변수에 미치는 방향과 정도를 보여주지만, 이 계수가 통계적으로 유의미한지는 p-value와 신뢰구간을 함께 살펴야 판단할 수 있습니다. 또한 회귀분석 결과가 타당하려면 선형성, 독립성, 등분산성, 정규성 같은 여러 가정이 어느 정도 충족되어야 합니다.

주의할 점

회귀분석도 기본적으로는 관찰된 데이터를 바탕으로 한 통계적 추정이라, 실험 설계(예: 무작위대조시험)가 아닌 관찰 데이터에 회귀분석을 적용했다면 인과관계로 바로 해석하기보다는 "연관성"으로 조심스럽게 받아들이는 것이 좋습니다.

헷갈리기 쉬운 용어

상관과 회귀는 자주 섞어 쓰지만 질문이 다릅니다.

‘회귀(regression)’라는 이름은 갤턴이 부모와 자녀 키의 관계에서 자녀 키가 평균 쪽으로 되돌아가는 현상(평균으로의 회귀)을 관찰한 데서 왔습니다.

참고 문헌

1. Galton, F. (1886). Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246–263.
2. Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). Applied linear statistical models (5th ed.). McGraw-Hill/Irwin.
3. Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.
4. Fox, J. (2016). Applied regression analysis and generalized linear models (3rd ed.). Sage.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어