부스팅 (Boosting)
쉽게 풀면
배깅이 여러 모델을 독립적으로, 동시에 학습시킨다면 부스팅은 순서대로 하나씩 학습시켜요. 첫 번째 모델이 틀리게 예측한 데이터에 더 큰 가중치를 주고, 두 번째 모델은 그 어려운 데이터를 잘 맞히는 데 집중하도록 학습시킵니다. 이 과정을 계속 반복하면서 이전 모델들이 놓친 부분을 다음 모델이 보완해가는 방식이에요. 마치 시험을 여러 번 치면서 계속 틀리는 문제 유형을 집중적으로 더 공부하는 것과 비슷하며, 약한 모델(weak learner)들을 모아 강력한 모델을 만드는 대표적인 방법입니다.
왜 중요한가
부스팅은 정형 데이터(테이블 데이터) 기반의 분류·회귀 문제에서 딥러닝 못지않게 강력한 성능을 보이는 대표적인 앙상블 기법이라 여러 응용 분야 논문에서 베이스라인이나 핵심 모델로 자주 채택된다. 특히 그래디언트 부스팅 계열(XGBoost, LightGBM 등)은 대회형 데이터 분석 및 산업 현장에서 실무 표준처럼 쓰이기 때문에, 새로운 방법론을 제안하는 논문에서도 비교 대상으로 빠지지 않고 등장한다. 또한 약한 학습기를 순차적으로 결합해 오차를 줄여나가는 아이디어 자체가 앙상블 학습과 최적화 이론을 잇는 개념적 다리 역할을 하기 때문에 이론 연구에서도 꾸준히 다뤄진다.
논문에서는 이렇게 쓰입니다
단순한 결정 트리를 여러 개 순차적으로 학습시키며 이전 트리의 오류를 보완하는 방식으로 최종 모델을 구성했다는 뜻이다.
의료 데이터 분석에서 손실 함수의 그래디언트를 이용해 트리를 순차적으로 추가하는 그래디언트 부스팅 방식을 적용해 예측 모델을 만들었다는 뜻이다.
클래스 불균형이 심한 데이터에서 부스팅 알고리즘의 가중치 조정 특성을 활용해 소수 클래스 예측 성능을 개선했다는 뜻이다.
조금 더 깊게 보면
부스팅 계열 중 AdaBoost는 오분류된 샘플의 가중치를 직접 키워가는 방식이고, 그래디언트 부스팅은 손실 함수의 그래디언트(잔차)를 다음 모델이 근사하도록 학습시킨다는 점에서 접근 방식에 차이가 있다. 논문을 읽을 때는 어떤 손실 함수를 썼는지, 학습률(learning rate)이나 트리 개수 같은 하이퍼파라미터를 어떻게 조정했는지, 그리고 과적합을 막기 위해 어떤 정규화나 조기 종료(early stopping) 기법을 썼는지를 함께 살펴보면 모델 선택의 맥락을 더 잘 이해할 수 있다. XGBoost, LightGBM, CatBoost 같은 구현체는 각자 트리 분할 방식이나 속도 최적화 전략이 달라 논문에서 어떤 라이브러리를 사용했는지도 결과 해석에 참고가 된다.
주의할 점
이전 모델의 오차에 계속 집중하는 특성 때문에 이상치나 잡음이 있는 데이터에 과도하게 민감해질 수 있어 과적합에 주의해야 한다.