과소적합 (Underfitting)
쉽게 풀면
시험공부를 아주 대충, 핵심만 겨우 훑고 끝낸 학생을 떠올려 보세요. 이 학생은 연습문제도 잘 못 풀고, 실제 시험도 잘 못 봅니다. 공부 자체를 충분히 하지 않았기 때문입니다. Underfitting은 바로 이런 상태입니다. 모델(학습 알고리즘)이 너무 단순하거나, 학습을 충분히 하지 않아서 훈련 데이터에 있는 패턴조차 제대로 잡아내지 못하는 것을 말합니다. 그 결과 훈련 데이터에서도 성능이 나쁘고, 새로운 데이터에서도 당연히 성능이 나쁩니다. 반대로 과적합은 공부를 문제 답까지 통째로 암기해버려서 연습문제는 완벽하게 풀지만 정작 처음 보는 응용문제는 못 푸는 경우에 비유할 수 있습니다.
왜 중요한가
과소적합은 머신러닝·딥러닝 모델 성능을 논의할 때 과적합과 짝을 이루는 핵심 개념으로, 모델의 복잡도와 데이터 표현력 사이의 균형(편향-분산 트레이드오프)을 이해하는 출발점이 됩니다. 새로운 모델 구조나 학습 기법을 제안하는 논문에서는 제안 방법이 과소적합과 과적합 양쪽 모두를 피하면서 적절한 일반화 성능을 낸다는 것을 보이는 것이 실험 설계의 기본 골격이 되며, 이는 모델 선택과 하이퍼파라미터 튜닝 전략을 정당화하는 근거로도 쓰입니다.
논문에서는 이렇게 쓰입니다
이 문장은 모델이 훈련 데이터의 패턴조차 제대로 학습하지 못해, 훈련 단계에서부터 예측 성능이 낮았다는 것을 의미합니다. 이런 경우 연구자는 모델의 구조를 더 복잡하게 만들거나, 학습을 더 오래 진행하는 방식으로 문제를 해결하려 시도합니다.
과적합을 막기 위한 정규화가 지나치면 오히려 과소적합을 유발할 수 있다는, 두 문제 사이의 트레이드오프를 보여주는 예문입니다.
모델 자체의 표현력이 데이터의 복잡한 패턴을 담아내기에 부족했던 전형적인 과소적합 사례입니다.
조금 더 깊게 보면
과소적합은 흔히 편향-분산 트레이드오프의 관점에서 설명됩니다. 모델이 지나치게 단순하면 편향(bias)이 커져서 훈련 데이터와 새로운 데이터 모두에서 오차가 크게 나타나는 반면, 모델이 지나치게 복잡하면 분산(variance)이 커져 과적합으로 이어집니다. 실무에서는 학습 곡선(learning curve)을 그려 훈련 오차와 검증 오차가 함께 높은 수준에서 수렴하는지를 확인하거나, 모델 복잡도(층 수, 파라미터 수 등)를 점진적으로 늘려가며 검증 성능이 개선되는지를 살펴보는 방식으로 과소적합 여부를 진단하는 경우가 많습니다.
주의할 점
Underfitting과 과적합은 정반대 문제이지만, 둘 다 "새로운 데이터에서 예측을 잘 못한다"는 결과로 이어질 수 있어 혼동하기 쉽습니다. 구분하는 핵심은 훈련 데이터 자체에서의 성능입니다. 훈련 데이터에서도 성능이 나쁘면 underfitting, 훈련 데이터에서는 성능이 매우 좋은데 새로운 데이터에서만 성능이 나쁘면 overfitting입니다.