커리큘럼 학습 (Curriculum Learning)
쉽게 풀면
수학을 배울 때 곱셈부터 배우지 않고 덧셈, 뺄셈을 먼저 익힌 뒤 곱셈, 나눗셈으로 넘어가는 것처럼, 학교 커리큘럼은 쉬운 것에서 어려운 것 순서로 짜여 있습니다. 커리큘럼 학습은 이 아이디어를 AI 모델 학습에 그대로 적용합니다. 학습 데이터 전체를 무작위 순서로 한꺼번에 섞어서 주는 대신, 먼저 쉬운(또는 단순한) 예제들로 모델을 학습시키고, 모델이 어느 정도 기초를 갖추면 점점 더 어렵고 복잡한 예제를 섞어 넣습니다. 이렇게 하면 처음부터 어려운 문제에 부딪혀 학습이 불안정해지는 것을 막고, 더 빠르고 안정적으로 좋은 성능에 도달할 수 있습니다.
왜 중요한가
딥러닝 모델은 학습 초기에 데이터의 제시 순서나 난이도 분포에 민감하게 반응하는 경우가 많아, 커리큘럼 학습은 학습 안정성과 수렴 속도를 개선하는 실용적인 전략으로 여러 분야의 논문에서 다루어집니다. 특히 데이터가 잡음이 많거나 난이도 편차가 큰 상황, 또는 강화학습처럼 보상 신호가 희소한 환경에서 학습 효율을 높이는 방법으로 주목받습니다. 최근에는 대규모 언어모델의 사전학습이나 로보틱스의 스킬 습득 등 학습 자원이 큰 과제에서도 커리큘럼 설계가 성능에 영향을 미친다는 연구가 이어지고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구팀이 학습 데이터를 난이도 순서로 재배열해서 모델에 제공했고, 그 결과 모델이 더 빠르게 좋은 성능에 도달했다는 뜻입니다. 난이도의 기준은 문장 길이, 소음 정도, 문제의 복잡도 등 과제에 따라 다양하게 정의됩니다.
에이전트가 처음에는 쉽게 성공할 수 있는 과제부터 경험하도록 환경 난이도를 서서히 높여가며 학습시켰다는 뜻입니다.
모델이 스스로 판단한 샘플의 확신도를 난이도 기준으로 삼아, 확실한 데이터부터 애매한 데이터 순으로 학습 순서를 정했다는 뜻입니다.
조금 더 깊게 보면
커리큘럼 학습에서 난이도를 정하는 방식은 크게 사전에 정해진 규칙(예: 문장 길이, 잡음 수준)을 쓰는 방법과, 모델 스스로 학습 과정에서 각 샘플의 손실값이나 확신도를 근거로 난이도를 추정하는 자기주도적(self-paced) 방식으로 나뉩니다. 난이도 전환 시점을 어떻게 설계하느냐(단계적 전환인지 연속적 전환인지)도 성능에 영향을 미치는 요소로 다뤄집니다. 또한 커리큘럼 학습은 안티커리큘럼(어려운 것부터 배우기)이나 무작위 순서와 비교 실험을 통해 그 효과를 검증하는 경우가 일반적입니다.
주의할 점
커리큘럼 학습은 파인튜닝이나 데이터증강과 혼동되기 쉽지만, 이들은 각각 "이미 학습된 모델을 추가 학습시키는 방법"과 "데이터 자체를 늘리는 방법"인 반면, 커리큘럼 학습은 "같은 데이터를 어떤 순서로 보여줄지"를 다루는 학습 전략이라는 점에서 다릅니다. 또한 난이도 기준을 잘못 설계하면 오히려 학습 효율이 떨어질 수 있어, 과제별로 신중한 검증이 필요합니다.