앙상블 학습 (Ensemble Learning)

한 줄 정의: 여러 개의 개별 예측 모델을 함께 사용해 그 결과를 결합함으로써, 모델 하나만 쓸 때보다 더 정확하고 안정적인 예측을 만드는 기법입니다.

쉽게 풀면

중요한 결정을 내릴 때 한 사람의 의견만 듣기보다 여러 전문가의 의견을 모아 다수결이나 평균을 내면 더 믿을 만한 결론이 나오는 경우가 많습니다. 앙상블 학습도 같은 원리입니다. 성능이 완벽하지 않은 여러 개의 "약한" 모델을 만든 뒤, 그 예측들을 투표(분류)나 평균(회귀)으로 합쳐서 개별 모델보다 더 좋은 최종 예측을 얻습니다. 대표적으로 여러 모델을 병렬로 독립 학습시켜 평균 내는 배깅(랜덤 포레스트가 대표적), 이전 모델의 실수를 다음 모델이 보완하도록 순차적으로 학습시키는 부스팅 방식이 있습니다.

왜 중요한가

단일 모델은 데이터의 특정 편향이나 노이즈에 취약해 예측이 불안정할 수 있는데, 앙상블 학습은 이런 개별 모델의 약점을 서로 보완해 성능과 일반화 능력을 함께 끌어올립니다. 그래서 캐글 등 예측 경진대회는 물론, 의료 진단이나 이상 탐지처럼 예측 신뢰성이 중요한 응용 논문에서도 최종 성능을 높이는 표준 기법으로 널리 채택됩니다. 최근에는 딥러닝 모델들의 앙상블이나 서로 다른 아키텍처를 결합하는 이질적(heterogeneous) 앙상블 연구로도 확장되고 있습니다.

논문에서는 이렇게 쓰입니다

"단일 모델 대비 성능을 개선하기 위해 배깅 기반 앙상블 학습을 적용하였으며, 5개 모델의 예측을 평균하여 최종 결과를 산출하였다."

이 문장은 연구팀이 모델 하나에만 의존하지 않고, 여러 모델의 예측을 결합하는 앙상블 전략으로 예측 성능과 안정성을 함께 높였다는 뜻입니다.

"그레이디언트 부스팅 계열 모델을 순차적으로 학습시켜 이전 단계의 잔차 오차를 줄이는 방향으로 앙상블을 구성하였다."

부스팅 방식이 순차적으로 오차를 보정하며 앙상블을 만들어가는 과정을 보여준다.

"서로 다른 구조의 합성곱 신경망 세 개를 학습시킨 뒤 소프트 보팅으로 최종 분류 결과를 결합하였다."

딥러닝 모델 간의 이질적 앙상블이 이미지 분류 성능을 높이는 데 활용됨을 보여준다.

조금 더 깊게 보면

앙상블의 효과는 흔히 편향-분산(bias-variance) 관점에서 설명되는데, 배깅은 주로 분산을 줄이고 부스팅은 주로 편향을 줄이는 경향이 있다고 알려져 있습니다. 앙상블이 잘 작동하려면 개별 모델들이 어느 정도 정확하면서도 서로 다른 방식으로 틀리는, 즉 오류의 상관관계가 낮은 다양성을 갖추는 것이 중요합니다. 이 다양성을 확보하기 위해 데이터 샘플링을 다르게 하거나(배깅), 특징의 부분집합을 무작위로 선택하거나(랜덤 포레스트), 서로 다른 모델 구조를 섞는 등의 전략이 논문에서 자주 사용됩니다.

주의할 점

앙상블은 대체로 과적합을 줄이고 성능을 높이지만, 모델 수가 늘어난 만큼 학습·추론에 드는 계산 비용도 커집니다. 또한 개별 모델들이 서로 비슷한 실수를 반복한다면 앙상블의 효과가 크지 않을 수 있어, 모델 간 다양성을 확보하는 것이 중요합니다.