창발 능력 (emergent ability)
한 줄 정의: 작은 모델에는 없다가 규모가 일정 수준을 넘으면 갑자기 나타나는 것처럼 보이는 능력입니다.
쉽게 풀면
모델을 조금씩 키우는 동안에는 어떤 과제의 정확도가 찍기 수준에 머물다가, 특정 크기를 넘는 순간 급격히 올라가는 현상입니다. 여러 자리 덧셈이나 복잡한 추론 과제에서 이런 계단 모양이 보고되면서, 규모만 키워도 질적으로 새로운 능력이 생기는 것 아니냐는 논쟁이 벌어졌습니다.
왜 중요한가
규모 확대에 대한 투자를 정당화하는 근거이자, 모델의 능력을 미리 예측하기 어렵다는 안전상의 우려를 낳은 개념입니다. 성능이 매끄럽게 올라간다면 위험도 예측 가능하지만 갑자기 나타난다면 대비가 어렵기 때문입니다. 그래서 AI 안전과 평가 방법론 논문에서 핵심 쟁점으로 다뤄집니다.
논문에서는 이렇게 쓰입니다
"해당 추론 과제에서는 특정 규모 이상에서만 무작위 수준을 넘는 창발 능력이 관찰되었다."
모델이 충분히 커지기 전까지는 사실상 못 풀던 과제를 어느 시점부터 풀기 시작했다는 관찰입니다.
조금 더 깊게 보면
2022년 웨이 등이 여러 벤치마크에서 이런 불연속적 향상을 정리해 보고하며 용어가 널리 퍼졌습니다. 그러나 2023년 샤에퍼 등은 이 계단 모양이 완전 일치 정확도처럼 불연속적인 평가 지표를 쓸 때 생기는 착시일 수 있으며, 토큰 단위 오차 같은 연속적 지표로 바꾸면 매끄러운 곡선이 나타난다고 반박했습니다. 현재는 능력 자체의 창발인지 측정 방식의 산물인지를 구분해 논의하는 것이 표준적인 태도입니다.
주의할 점
창발이라는 표현이 모델 안에서 새로운 원리가 생겨났다는 뜻으로 오해되기 쉬우나, 관찰된 것은 어디까지나 벤치마크 점수의 변화입니다. 스케일링 법칙이 예측하는 매끄러운 손실 감소와 모순되는 현상인지에 대해 아직 합의가 없다는 점도 함께 기술해야 합니다.