수정된 결정계수 (Adjusted R-squared)

한 줄 정의: 회귀모형에 변수를 추가할 때 실제로 설명력이 늘어난 것인지를 걸러내기 위해, 변수 개수에 대한 "벌점"을 매긴 결정계수(R제곱)입니다.

쉽게 풀면

일반 R제곱(결정계수)은 회귀모형에 변수를 아무거나 추가해도 절대 줄어들지 않고 계속 올라가는 성질이 있습니다. 심지어 관련이 전혀 없는 변수를 넣어도 R제곱이 조금이라도 오르기 때문에, "변수를 많이 넣을수록 모형이 좋아 보이는" 착시가 생깁니다. 수정된 결정계수(Adjusted R²)는 이 문제를 바로잡기 위해 만들어졌습니다. 변수를 추가했을 때 그 변수가 정말로 설명력을 유의미하게 높이지 않으면 오히려 값이 떨어지도록 계산합니다. 즉, "변수 개수 대비 얼마나 효율적으로 설명하고 있는가"를 보여주는 지표입니다. 그래서 변수 개수가 다른 여러 모형을 비교할 때는 일반 R제곱보다 수정된 결정계수를 보는 것이 더 공정합니다.

왜 중요한가

회귀분석을 쓰는 논문에서는 대개 모형을 한 번에 확정하지 않고, 통제변수나 새로운 설명변수를 단계적으로 추가하며 "이 변수가 정말 설명력을 높이는가"를 검증합니다. 이 과정에서 일반 R제곱만 보면 변수를 추가할수록 값이 기계적으로 오르기 때문에, 모형 선택이나 변수 개수가 다른 여러 모형 간 비교가 왜곡될 수 있습니다. 수정된 결정계수는 이런 왜곡을 줄여주므로, 위계적 회귀분석이나 모형 비교를 다루는 논문에서 거의 표준적으로 함께 보고됩니다. 그래서 심사자나 독자가 모형의 개선이 실질적인지를 판단할 때 핵심 근거로 삼는 지표이기도 합니다.

논문에서는 이렇게 쓰입니다

"통제변수를 추가한 최종 모형의 설명력은 크게 향상되었다 (수정된 R² = .42, ΔR² = .15)."

이 문장은 "변수를 추가한 것이 단순한 착시가 아니라, 실제로 종속변수를 설명하는 힘을 15%p만큼 실질적으로 높였다"는 뜻입니다. 만약 여기서 일반 R제곱만 보고했다면, 그 상승분이 진짜 효과인지 변수 개수 때문인지 독자가 판단하기 어려웠을 것입니다.

"모형 1(인구통계학적 변수만 포함)의 수정된 R²는 .08에 그쳤으나, 모형 2(심리적 변수 추가)에서는 .31로 크게 상승하여 심리적 요인의 설명력이 인구통계학적 요인보다 우세함을 보여주었다."

여러 모형을 단계적으로 비교하는 위계적 회귀분석에서 흔히 쓰이는 서술입니다. 변수 집단을 통째로 추가하면서 수정된 R²의 변화폭을 비교해, 어떤 변수 집단이 실질적으로 설명력을 더해주는지를 보여주는 방식입니다.

"예측모형의 성능은 훈련용 데이터에서 수정된 R² = .55로 준수한 수준을 보였으나, 검증용 데이터에서는 다소 낮아져 모형의 일반화 가능성에 대한 추가 검토가 필요함을 시사한다."

머신러닝이나 예측모형 관련 연구에서는 수정된 R²를 단순 적합도뿐 아니라 과적합 여부를 가늠하는 참고 지표로도 함께 언급하는 경우가 많습니다.

조금 더 깊게 보면

수정된 결정계수는 일반 R제곱에 표본크기(n)와 변수 개수(k)를 반영한 벌점 항을 적용해 계산되며, 변수를 추가했을 때 그 변수가 우연 수준 이상으로 설명력을 높이지 못하면 값이 오히려 떨어지도록 설계되어 있습니다. 위계적 회귀분석에서는 모형 간 수정된 R²의 차이(ΔR²)를 함께 보고하면서, 이 차이가 통계적으로 유의한지를 F-검정으로 확인하는 경우가 많습니다. 다만 수정된 R² 역시 표본 자체에 대한 적합도이므로, 새로운 데이터에서도 같은 정도의 설명력이 유지되는지는 별도로 교차검증(cross-validation)이나 홀드아웃 검증을 통해 확인하는 것이 일반적입니다.

주의할 점

수정된 결정계수는 여전히 "이 모형이 얼마나 잘 맞는가"를 나타낼 뿐, 인과관계를 증명하지 않습니다. 또한 값이 음수로 나올 수도 있는데, 이는 모형이 종속변수의 평균으로만 예측하는 것보다도 못하다는 뜻입니다. 표본크기가 작고 다중공선성이 심한 모형에서는 수정된 R² 값이 불안정하게 움직일 수 있으므로, 다중회귀분석의 가정이 충족되는지도 함께 확인해야 합니다.