파국적 망각 (Catastrophic Forgetting)
쉽게 풀면
어릴 때 피아노를 배운 사람이 성인이 되어 바이올린을 몇 달간 집중적으로 연습했더니, 예전엔 술술 치던 피아노곡을 완전히 까먹어 버렸다고 생각해 보세요. 사람은 보통 이렇게까지 심하게 잊지는 않지만, 인공신경망은 이런 일이 실제로 자주 일어납니다. 신경망은 새로운 데이터를 학습할 때 기존의 가중치(파라미터)를 새로운 목적에 맞게 계속 덮어씁니다. 그런데 이전 작업(A)을 학습해 두었던 가중치 위에 새로운 작업(B)을 순서대로 학습시키면, B를 잘하게 되는 대신 A에 대한 능력이 급격히 무너져 버리는 경우가 많습니다. 이렇게 이전 지식이 새로운 학습에 의해 통째로 지워지듯 사라지는 현상을 파국적 망각이라고 부릅니다.
왜 중요한가
파국적 망각은 신경망을 한 번 학습시키고 끝내는 것이 아니라, 시간이 지나면서 계속 새로운 데이터와 작업을 추가로 배워야 하는 '지속 학습(continual learning)' 상황에서 반드시 부딪히는 핵심 걸림돌입니다. 실제 서비스에 배포된 모델을 최신 데이터로 계속 업데이트하거나, 하나의 모델이 여러 작업을 순서대로 익히도록 하려면 이전 능력을 유지하면서 새 능력을 더하는 방법이 필요한데, 이 문제를 해결하지 못하면 모델을 다시 학습시킬 때마다 이전 성능을 사실상 처음부터 다시 확보해야 합니다. 그래서 지속 학습, 평생 학습(lifelong learning), 대규모 언어모델의 지속적인 미세조정 연구 등에서 파국적 망각을 어떻게 완화할 것인가는 빠지지 않고 다뤄지는 주제입니다.
논문에서는 이렇게 쓰입니다
새로운 데이터로 추가 학습을 했더니, 기존에 잘하던 작업의 성능이 눈에 띄게 나빠졌다는 뜻입니다.
로봇이나 게임 에이전트가 새 환경에 적응하도록 계속 학습시키면, 예전 환경에서 익혔던 행동 방식을 잊어버릴 수 있다는 뜻입니다.
특정 분야에 특화시키기 위해 언어모델을 추가로 학습시키다 보면, 원래 갖고 있던 폭넓은 대화 능력이 함께 떨어질 수 있다는 뜻입니다.
조금 더 깊게 보면
파국적 망각을 완화하는 접근은 크게 몇 갈래로 나뉩니다. 첫째는 이전 작업에 중요했던 가중치의 변화를 억제하는 정규화 기반 방법으로, 대표적으로 EWC(Elastic Weight Consolidation) 같은 기법이 각 가중치의 중요도를 추정해 중요한 가중치일수록 덜 바뀌도록 제약을 겁니다. 둘째는 이전 작업의 데이터 일부를 저장해 두었다가 새 작업 학습 시 함께 재학습시키는 리허설(rehearsal) 기반 방법이고, 셋째는 작업마다 별도의 모듈이나 파라미터 일부를 새로 할당해 서로 간섭을 줄이는 구조적(아키텍처 확장) 방법입니다. 논문을 읽을 때는 이런 기법들의 효과를 비교하기 위해 새 작업의 성능뿐 아니라 이전 작업의 성능이 얼마나 유지되는지를 함께 보고하는 경우가 많다는 점, 그리고 완화 기법마다 새 지식 습득 능력과 이전 지식 보존 능력 사이에 어느 정도 절충(trade-off)이 존재한다는 점을 염두에 두면 도움이 됩니다.
주의할 점
파국적 망각은 단순히 과적합과는 다른 문제입니다. 과적합은 학습 데이터 자체에 지나치게 맞춰지는 현상이지만, 파국적 망각은 여러 작업을 순차적으로 학습(지속 학습)할 때 이전 작업에 대한 지식이 사라지는 현상입니다. 이를 완화하기 위해 중요한 가중치의 변화를 제한하거나 이전 데이터를 일부 재학습에 섞는 등의 기법이 사용됩니다.