수정된 결정계수 (Adjusted R-squared)
쉽게 풀면
일반 R제곱(결정계수)은 회귀모형에 변수를 아무거나 추가해도 절대 줄어들지 않고 계속 올라가는 성질이 있습니다. 심지어 관련이 전혀 없는 변수를 넣어도 R제곱이 조금이라도 오르기 때문에, "변수를 많이 넣을수록 모형이 좋아 보이는" 착시가 생깁니다. 수정된 결정계수(Adjusted R²)는 이 문제를 바로잡기 위해 만들어졌습니다. 변수를 추가했을 때 그 변수가 정말로 설명력을 유의미하게 높이지 않으면 오히려 값이 떨어지도록 계산합니다. 즉, "변수 개수 대비 얼마나 효율적으로 설명하고 있는가"를 보여주는 지표입니다. 그래서 변수 개수가 다른 여러 모형을 비교할 때는 일반 R제곱보다 수정된 결정계수를 보는 것이 더 공정합니다.
왜 중요한가
회귀분석을 쓰는 논문에서는 대개 모형을 한 번에 확정하지 않고, 통제변수나 새로운 설명변수를 단계적으로 추가하며 "이 변수가 정말 설명력을 높이는가"를 검증합니다. 이 과정에서 일반 R제곱만 보면 변수를 추가할수록 값이 기계적으로 오르기 때문에, 모형 선택이나 변수 개수가 다른 여러 모형 간 비교가 왜곡될 수 있습니다. 수정된 결정계수는 이런 왜곡을 줄여주므로, 위계적 회귀분석이나 모형 비교를 다루는 논문에서 거의 표준적으로 함께 보고됩니다. 그래서 심사자나 독자가 모형의 개선이 실질적인지를 판단할 때 핵심 근거로 삼는 지표이기도 합니다.
계산과 범위
표본 수 n, 독립변수 수 k, 결정계수 R²일 때 수정된 결정계수는 다음과 같이 계산합니다.
수정 R² = 1 − (1 − R²) × (n − 1) / (n − k − 1)
- R²는 변수를 더하면 줄지 않지만, 수정 R²는 (n−1)/(n−k−1) 배율이 커지는 만큼 벌점을 받아 오르거나 내릴 수 있습니다.
- 항상 R² 이하이고 1을 넘지 않으며, 음수도 될 수 있습니다.
- 표본에서 얻은 다중상관이 모집단보다 부풀려지는 현상(shrinkage)을 보정하는 공식은 일찍부터 연구되었습니다(Wherry, 1931). 흔히 ‘수정 R²’라고 하면 위의 식을 가리킵니다.
계산 예(가상의 값). n = 30, 변수 3개, R² = .50이면 수정 R² = .442입니다. 여기에 관련 없는 변수 1개를 더해 R²가 .51로 조금 올랐다면(k = 4) 수정 R² = .432로 내려갑니다. 반대로 R²가 .60이 되었다면 수정 R² = .536로 올라, 그 변수는 설명력에 기여했다고 볼 수 있습니다. R² = .05, k = 3, n = 30이면 수정 R² = −.060로 음수입니다.
해석 기준
- 정해진 합격선은 없습니다. ‘얼마 이상이면 좋다’는 분야와 자료에 따라 다릅니다.
- 변수 수가 다른 모형을 비교할 때 R²보다 공정하지만, 모형 선택 기준으로는 아카이케 정보기준처럼 다른 지표도 함께 씁니다.
- 수정 R²가 R²보다 많이 작다면 표본에 비해 변수가 많다는 신호입니다.
- 같은 표본에서 계산한 값이므로 새 자료에서의 설명력은 교차검증 등으로 따로 확인합니다. 추정치의 성질을 부트스트랩으로 살펴본 연구도 있습니다(Ohtani, 2000).
- 인과를 보증하지 않으며, 다중공선성·가정 위반 여부는 별도로 확인합니다(다중공선성, 다중회귀분석의 가정).
보고 방법
R²와 수정 R²를 함께 적고, 표본 수와 변수 수를 밝힙니다. (아래 수치는 형식을 보여 주는 가상의 값)
모형은 유의하였다(F(3, 26) = 8.67, p < .01, R² = .50, 수정 R² = .442).
- 위계적 회귀에서는 단계별 수정 R²를 표로 제시하고, 단계 간 R² 변화(ΔR²)와 그 검정을 함께 적습니다.
- 소수점 표기(.442 또는 0.442)는 학술지 규정에 맞춥니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“또한 적설심 25cm의 최심신적설을 이용한 모형에서 수정된 결정계수가 0.7 이상, N-RMSE가 8.2% 이하로 매우 높은 모형 효율을 보였다.”
통계분석을 통한 대설 피해 경보에 적합한 적설심 기준 제안, 한국방재학회논문집, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "변수를 추가한 것이 단순한 착시가 아니라, 실제로 종속변수를 설명하는 힘을 15%p만큼 실질적으로 높였다"는 뜻입니다. 만약 여기서 일반 R제곱만 보고했다면, 그 상승분이 진짜 효과인지 변수 개수 때문인지 독자가 판단하기 어려웠을 것입니다.
여러 모형을 단계적으로 비교하는 위계적 회귀분석에서 흔히 쓰이는 서술입니다. 변수 집단을 통째로 추가하면서 수정된 R²의 변화폭을 비교해, 어떤 변수 집단이 실질적으로 설명력을 더해주는지를 보여주는 방식입니다.
머신러닝이나 예측모형 관련 연구에서는 수정된 R²를 단순 적합도뿐 아니라 과적합 여부를 가늠하는 참고 지표로도 함께 언급하는 경우가 많습니다.
조금 더 깊게 보면
수정된 결정계수는 일반 R제곱에 표본크기(n)와 변수 개수(k)를 반영한 벌점 항을 적용해 계산되며, 변수를 추가했을 때 그 변수가 우연 수준 이상으로 설명력을 높이지 못하면 값이 오히려 떨어지도록 설계되어 있습니다. 위계적 회귀분석에서는 모형 간 수정된 R²의 차이(ΔR²)를 함께 보고하면서, 이 차이가 통계적으로 유의한지를 F-검정으로 확인하는 경우가 많습니다. 다만 수정된 R² 역시 표본 자체에 대한 적합도이므로, 새로운 데이터에서도 같은 정도의 설명력이 유지되는지는 별도로 교차검증(cross-validation)이나 홀드아웃 검증을 통해 확인하는 것이 일반적입니다.
주의할 점
수정된 결정계수는 여전히 "이 모형이 얼마나 잘 맞는가"를 나타낼 뿐, 인과관계를 증명하지 않습니다. 또한 값이 음수로 나올 수도 있는데, 이는 모형이 종속변수의 평균으로만 예측하는 것보다도 못하다는 뜻입니다. 표본크기가 작고 다중공선성이 심한 모형에서는 수정된 R² 값이 불안정하게 움직일 수 있으므로, 다중회귀분석의 가정이 충족되는지도 함께 확인해야 합니다.
헷갈리기 쉬운 용어
| 용어 | 무엇인가 | 수정 R²와의 차이 |
|---|---|---|
| 결정계수(R²) | 종속변수 변동 중 모형이 설명하는 비율 | 변수를 추가하면 줄지 않음. 수정 R²는 변수 수에 벌점을 줌 |
| 아카이케 정보기준 | 적합도와 복잡도를 함께 반영한 모형 비교 지표 | 값이 작을수록 좋은 상대 비교용 지표로, 0~1 범위의 설명력이 아님 |
| 상관관계 | 두 변수가 함께 움직이는 정도 | 단순회귀에서는 R²가 상관계수의 제곱 |
참고 문헌
- Wherry, R. J. (1931). A new formula for predicting the shrinkage of the coefficient of multiple correlation. The Annals of Mathematical Statistics, 2(4), 440–457.
- Raju, N. S., Bilgic, R., Edwards, J. E., & Fleer, P. F. (1997). Methodology review: Estimation of population validity and cross-validity, and the use of equal weights in prediction. Applied Psychological Measurement, 21(4), 291–305.
- Ohtani, K. (2000). Bootstrapping R2 and adjusted R2 in regression analysis. Economic Modelling, 17(4), 473–483.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.