연속 학습 (Continual Learning)
한 줄 정의: 새 과제를 차례로 배우면서도 이전에 배운 지식을 잃지 않도록 하는 학습 방식입니다.
쉽게 풀면
사람은 새 언어를 배워도 모국어를 잊지 않지만, 일반적인 인공신경망은 새 데이터로 학습을 이어 가면 이전 과제 성능이 급격히 떨어지곤 합니다. 연속 학습은 데이터가 순서대로 들어오는 상황에서 새것을 배우면서 옛것도 지키는 방법을 연구하는 분야입니다.
왜 중요한가
실제 환경의 AI는 한 번에 모든 데이터를 모아 학습하기 어렵고, 계속 바뀌는 상황에 적응해야 합니다. 연속 학습의 핵심 난제인 파국적 망각을 해결하는 것은 로봇, 개인화 모델 등 여러 응용의 오래된 과제이며, 뇌가 이 문제를 어떻게 푸는지는 신경과학과 AI가 함께 묻는 질문입니다.
논문에서는 이렇게 쓰입니다
"과제 A 학습 후 과제 B를 순차 학습시키자 기존 모델은 과제 A 정확도가 크게 떨어졌으나, 제안한 연속 학습 방법은 이를 대부분 유지하였다."
순차 학습 시 이전 과제 성능 유지 여부로 연속 학습 방법의 효과를 평가하는 전형적인 방식입니다.
조금 더 깊게 보면
대표 접근은 세 갈래로 나뉩니다. 이전 과제에 중요했던 가중치의 변화를 억제하는 정규화 기반 방법, 과거 데이터나 생성된 표본을 섞어 다시 학습하는 재생(replay) 기반 방법, 과제마다 네트워크 일부를 따로 할당하는 구조 기반 방법입니다. 재생 방법은 수면 중 해마의 기억 재활성화에서 영감을 받은 것으로 자주 소개됩니다. 새로운 것을 배우는 가소성과 옛것을 지키는 안정성 사이의 균형, 즉 안정성-가소성 딜레마가 이 분야를 관통하는 핵심 문제입니다.
주의할 점
과제 경계가 명확히 주어지는지, 추론 시 과제 정보를 알려 주는지에 따라 문제 난이도가 크게 달라지므로 결과를 비교할 때 설정을 반드시 확인해야 합니다. 전이 학습은 새 과제 성능이 주목표라 이전 과제 유지를 요구하는 연속 학습과는 목적이 다릅니다.