귀납 편향 (Inductive Bias)
쉽게 풀면
몇 개의 점만 보고 선을 그리라고 하면 가능한 답은 무수히 많습니다. 이때 '가능하면 단순한 직선이 좋다'처럼 미리 정해 둔 선호가 있어야 하나를 고를 수 있는데, 이런 선호가 귀납 편향입니다. 여기서 '편향'은 나쁜 뜻이 아니라, 학습을 가능하게 하는 출발점이라는 의미입니다.
왜 중요한가
데이터만으로는 보지 못한 경우에 대한 답이 정해지지 않기 때문에, 어떤 귀납 편향을 갖느냐가 모델의 일반화 능력을 결정합니다. 합성곱 신경망이 이미지에 강하고 순환 구조가 시계열에 맞는 것도 구조에 담긴 편향 덕분입니다. 뇌과학에서는 동물의 뇌가 어떤 편향 덕분에 적은 경험으로 빨리 배우는지를 AI와 비교하는 틀로도 쓰입니다.
논문에서는 이렇게 쓰입니다
구조나 학습 규칙에 담긴 가정을 바꿔 가며 동물의 빠른 학습을 재현하는 조건을 찾는 연구 방식입니다.
조금 더 깊게 보면
귀납 편향은 모델 구조(예: 합성곱의 위치 불변성), 목적 함수와 정규화, 최적화 방식, 사전분포 등 여러 곳에 들어갑니다. 편향-분산 트레이드오프 관점에서 보면 강한 편향은 적은 데이터에서 안정적이지만 가정이 틀리면 성능이 제한되고, 약한 편향은 유연하지만 과적합 위험이 커집니다. 베이즈 관점에서는 사전분포가 귀납 편향을 명시적으로 표현하는 방법입니다. 전이 학습은 다른 과제에서 배운 편향을 가져오는 방법이라고도 볼 수 있습니다.
주의할 점
통계학의 추정량 편향(bias)이나 데이터·사회적 편향과는 다른 개념이므로 혼동하지 않아야 합니다. 또 '편향이 없는 모델'이 이상적이라는 생각은 틀렸으며, 어떤 편향도 없으면 일반화 자체가 불가능합니다.