단순회귀분석 (Simple Linear Regression)

한 줄 정의: 단순회귀분석은 하나의 독립변수로 하나의 종속변수를 직선 관계(y = b0 + b1x)로 설명하거나 예측하는 방법으로, 보통 잔차 제곱합을 최소로 만드는 최소제곱법으로 직선을 추정합니다.

쉽게 풀면

공부 시간과 시험 점수처럼 두 변수의 점들이 흩어져 있을 때, 그 점들을 가장 잘 지나가는 직선 하나를 긋는 것이 단순회귀입니다. 직선의 기울기는 독립변수가 1만큼 늘 때 종속변수가 평균적으로 얼마나 변하는지를 말하고, 절편은 독립변수가 0일 때의 예측값입니다. '단순'은 설명 변수가 하나뿐이라는 뜻입니다.

왜 중요한가

회귀분석의 가장 기초가 되는 모형이어서, 다중회귀나 로지스틱 회귀 같은 확장 모형을 이해하는 출발점입니다. 상관계수와 달리 한 변수의 변화에 따른 다른 변수의 변화량을 구체적 단위로 말해 주기 때문에 논문의 결과 해석에 자주 쓰입니다.

언제 쓰나

종속변수가 연속형이고 설명변수가 하나일 때, 둘의 관계를 직선 y = b₀ + b₁x로 설명하거나 예측하려고 씁니다. 기울기와 절편은 잔차 제곱합을 최소로 하는 최소제곱법으로 추정하며, 기울기는 b₁ = S_xy / S_xx, 절편은 b₀ = ȳ − b₁x̄입니다.

쓸 수 있으려면 선형성, 오차의 독립성, 등분산성, 오차의 정규성이 어느 정도 성립해야 하고, 이는 산점도와 잔차분석으로 점검합니다(Draper & Smith, 1998). 이름의 ‘회귀’는 Galton(1886)이 부모와 자녀 키의 관계에서 관찰한 평균으로의 회귀에서 유래했으며(평균으로의 회귀), 방법의 의미와 직접 관련은 없습니다. 최소제곱 방법 자체의 역사는 Stigler(1981)가 정리했습니다.

결과는 이렇게 읽는다

가상의 자료로 읽는 법을 보겠습니다. 주당 학습 시간(x)과 시험 점수(y) 8쌍입니다. 계산은 코드로 확인했습니다.

학습 시간 x (시간)	2	4	5	6	8	9	11	12
점수 y	52	58	63	64	72	70	80	83

추정식: ŷ = 46.32 + 3.01x. 기울기 3.01은 학습 시간이 1시간 늘 때 평균 점수가 약 3.0점 오른다는 뜻이고, 절편 46.32는 x = 0일 때의 예측값입니다.
기울기의 표준오차 0.19, t(6) = 16.05, p < .001, 95% 신뢰구간 [2.55, 3.47].
R² = .977, 상관계수 r = .989. 단순회귀에서는 R²가 r의 제곱과 같습니다(결정계수).
잔차는 −3.4에서 +1.6 사이로 뚜렷한 곡선 패턴이 없었습니다.

x = 7을 넣으면 예측 점수는 약 67.4입니다. 하지만 자료의 범위(2~12시간) 밖인 x = 30을 넣으면 약 136.5점이 나오는데 이는 점수 상한을 넘으므로, 범위 밖으로의 외삽은 직선이 계속 맞는다는 가정이 필요해 위험합니다.

논문에는 이렇게 보고한다

표본 수, 추정식 또는 b₀, b₁과 표준오차, 95% 신뢰구간, t와 자유도, p, R²
산점도와 잔차 그림으로 가정을 점검했다는 서술, 이상치나 영향점 처리
해석은 “1단위 증가할 때 평균적으로 b₁만큼 변한다” 정도로 하고, 관측 연구에서는 인과로 읽지 않습니다.

예: 주당 학습 시간은 시험 점수를 유의하게 예측하였다(b = 3.01, SE = 0.19, 95% CI [2.55, 3.47], t(6) = 16.05, p < .001, R² = .98; 가상의 값).

이상치 한두 개가 직선을 크게 바꿀 수 있으므로 먼저 산점도를 그립니다. 설명변수가 둘 이상이면 다중회귀분석을 씁니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“먼저 선형회귀분석의 이해를 돕기 위하여 단순회귀분석의 기본모형과 최소제곱법에 의해 회귀모수를 추정하는 방법, 다중회귀분석의 이해, 부분상관과 준부분상관의 활용 및 다중회귀분석의 변인투입방법 등을 설명하였다.”
체육학 연구에서 선형회귀분석의 이해와 적용, 한국체육학회지, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
“이를 위해 현직 유아교사 208명을 대상으로 설문조사를 실시하였으며, 수집된 자료는 SPSS WIN 24.0을 이용하여 단순회귀분석과 위계적 중다회귀분석을 통해 검증하였다.”
유아교사의 수학교수효능감이 유아의 수학적 태도에 미치는 영향 : 수학적 상호작용의 조절효과를 중심으로, 유아교육학논집, 2023 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

""단순회귀분석 결과, 주당 학습 시간이 1시간 늘 때 시험 점수는 평균 2.3점 증가하였다(b = 2.3, p < .001).""

비표준화 기울기를 원래 단위로 해석하는 전형적인 방식입니다.

""모형의 설명력은 R² = .31이었다.""

독립변수가 종속변수 분산의 약 31%를 설명한다는 뜻입니다.

""잔차의 산점도에서 뚜렷한 패턴이 없어 선형성과 등분산성 가정이 충족되었다고 판단하였다.""

회귀의 가정을 잔차 그림으로 점검했음을 밝히는 표현입니다.

조금 더 깊게 보면

기울기 추정치에는 표준오차가 있어서 t검정으로 기울기가 0인지 검정하거나 신뢰구간을 만들 수 있습니다. 설명력은 결정계수 R²로 나타내며, 단순회귀에서는 R²가 피어슨 상관계수의 제곱과 같습니다. 모형이 믿을 만하려면 선형성, 오차의 독립성, 등분산성, 오차의 정규성 같은 가정이 필요하고, 잔차 그림으로 이를 점검합니다. 독립변수의 범위 밖으로 직선을 연장해 예측하는 외삽은 위험합니다.

주의할 점

회귀 결과는 원인과 결과를 증명하지 않습니다. 기울기가 유의하다는 것은 두 변수가 함께 변한다는 것이지, 독립변수를 바꾸면 종속변수가 바뀐다는 뜻이 아닙니다. 또 '회귀'라는 이름은 평균으로의 회귀 현상에서 유래했을 뿐 방법의 의미와는 직접 관련이 없습니다. 이상치 한두 개가 직선을 크게 바꿀 수 있으므로 산점도를 먼저 그려 보는 것이 좋습니다.

헷갈리기 쉬운 용어

상관, 회귀, 결정계수는 같은 자료에서 함께 나오지만 묻는 질문이 다릅니다.

용어	묻는 질문	단순회귀분석과의 관계
상관관계	두 변수가 함께 변하는 정도(방향 대칭)	회귀는 한 변수로 다른 변수를 설명하는 방향이 있음. 단순회귀에서 R² = r²
결정계수	모형이 종속변수 분산의 얼마를 설명하는가	단순회귀의 적합도를 요약하는 값
평균으로의 회귀	극단값 다음 측정이 평균 쪽으로 돌아오는 통계 현상	‘회귀’라는 이름의 유래이며 방법과 동일하지 않음
다중회귀분석	설명변수가 둘 이상일 때의 확장	변수를 추가하면 계수의 의미가 ‘다른 변수가 같을 때’로 바뀜

참고 문헌

Galton, F. (1886). Regression towards mediocrity in hereditary stature. The Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246–263.
Stigler, S. M. (1981). Gauss and the invention of least squares. The Annals of Statistics, 9(3), 465–474.
Draper, N. R., & Smith, H. (1998). Applied Regression Analysis (3rd ed.). John Wiley & Sons.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.