배깅 (Bagging)
쉽게 풀면
모델 하나만 학습시키면 그 모델이 가진 편향된 판단에 그대로 의존하게 될 위험이 있어요. 배깅은 원본 데이터에서 중복을 허용하며 무작위로 여러 번 샘플을 뽑아(부트스트랩) 각각 다른 데이터셋을 만들고, 이 데이터셋마다 독립적으로 모델을 학습시킵니다. 그런 다음 여러 모델의 예측을 평균 내거나 다수결로 최종 결론을 냅니다. 여러 사람에게 각각 다른 자료를 주고 판단하게 한 뒤 의견을 종합하는 것과 비슷해서, 개별 모델의 실수가 서로 상쇄되어 전체적으로 더 안정적인 예측을 얻을 수 있어요.
왜 중요한가
배깅은 앙상블 학습이라는 큰 흐름을 여는 대표적인 방법 중 하나로, 이후 등장한 랜덤 포레스트 같은 강력한 모델의 기반이 됩니다. 단일 모델이 학습 데이터의 작은 변화에도 예측이 크게 흔들리는 불안정한 알고리즘(결정 트리 등)일수록 배깅의 분산 감소 효과가 두드러지기 때문에, 모델 안정성과 일반화 성능을 다루는 논문에서 비교 기준이나 구성 요소로 자주 등장합니다. 또한 부트스트랩 샘플링 과정에서 자연스럽게 얻어지는 out-of-bag 데이터는 별도의 검증 세트 없이도 성능을 추정할 수 있게 해주어, 데이터가 부족한 상황의 모델 평가 방법론과도 맞닿아 있습니다.
논문에서는 이렇게 쓰입니다
부트스트랩 샘플링으로 만든 여러 데이터셋에 각각 결정 트리를 학습시키고 그 결과를 종합했다는 뜻이다.
데이터가 제한적인 의료 영상 분야에서, 여러 부분집합으로 학습한 모델들의 예측을 합쳐 특정 클래스에 대한 과민한 오분류를 줄였다는 의미다.
같은 앙상블 계열이지만 서로 다른 방식(병렬 학습 후 평균 vs 순차적 오차 보정)인 배깅과 부스팅을 실험적으로 비교했다는 뜻이다.
조금 더 깊게 보면
배깅의 핵심은 부트스트랩 샘플링으로, 원본 데이터와 같은 크기의 표본을 중복을 허용해 무작위로 뽑는 과정에서 일부 데이터는 한 번도 뽑히지 않는 out-of-bag(OOB) 샘플이 생깁니다. 이 OOB 샘플은 해당 모델의 학습에 쓰이지 않았으므로 별도의 검증용 데이터를 나누지 않고도 일반화 성능을 추정하는 데 활용할 수 있습니다. 논문에서 배깅의 효과를 설명할 때는 보통 편향-분산 트레이드오프(bias-variance tradeoff) 관점을 함께 언급하는데, 배깅은 여러 모델의 예측을 평균 내는 과정에서 분산을 낮추는 데 주로 기여하며, 그 효과는 개별 모델들의 예측이 서로 얼마나 상관되어 있는지에 따라 달라진다고 설명되는 경우가 많습니다.
주의할 점
배깅은 개별 모델의 분산을 줄이는 데는 효과적이지만, 모델 자체가 가진 편향(bias)까지 줄여주지는 못한다.