제로샷 러닝 (Zero-shot Learning)

한 줄 정의: 모델이 학습 과정에서 한 번도 본 적 없는 새로운 범주나 작업을, 예시 없이 지시나 설명만으로 곧바로 수행하는 능력입니다.

쉽게 풀면

요리를 한 번도 배워본 적 없는 사람에게 레시피 설명만 주고 "이 요리를 만들어보라"고 하는 상황을 떠올려보세요. 직접 만드는 걸 본 적은 없지만, 글로 된 설명과 지금까지 쌓아온 요리에 대한 일반 지식을 조합해서 처음 보는 요리도 그럴듯하게 해낼 수 있습니다. 제로샷 러닝도 비슷합니다. 모델이 학습할 때 특정 작업의 예시를 단 한 번도 보지 않았더라도, 사전에 학습한 폭넓은 지식과 프롬프트로 주어진 설명만으로 그 작업을 수행하는 것입니다. 예시를 몇 개 보여주는 퓨샷 러닝과 달리, 예시는 0개(zero)라는 점이 핵심입니다.

왜 중요한가

새로운 작업이나 범주가 등장할 때마다 대량의 라벨 데이터를 다시 수집하고 학습시키는 것은 비용과 시간이 많이 드는 일입니다. 제로샷 러닝은 이런 부담 없이 모델을 즉시 새로운 상황에 적용할 수 있게 해주기 때문에, 대규모 언어모델과 파운데이션 모델 연구에서 모델의 일반화 능력을 평가하는 핵심 지표로 자주 다뤄집니다. 또한 희귀한 범주나 데이터가 거의 없는 도메인에서 실용적인 해결책을 제시한다는 점에서도 중요하게 인용됩니다.

논문에서는 이렇게 쓰입니다

"본 실험에서 GPT 계열 언어모델은 별도의 학습 예시 없이 프롬프트 지시만으로 감정 분류 작업에서 제로샷(zero-shot) 성능 78.3%를 기록했다."

이 문장은 모델이 감정 분류를 위한 학습 데이터를 전혀 보지 않았음에도, 지시문만으로 상당한 정확도를 냈다는 실험 결과를 설명한 것입니다.

"제안된 시각-언어 모델은 학습 중 한 번도 등장하지 않은 동물 종에 대해서도 텍스트 설명만으로 이미지를 올바르게 분류하는 제로샷 인식 능력을 보였다."

컴퓨터 비전 논문에서는 학습 데이터에 없던 새로운 클래스를, 클래스 이름이나 속성 설명 같은 부가 정보만으로 인식해내는 능력을 제로샷 러닝이라 부르며, 이는 이미지 분류나 객체 인식 확장 연구에서 중요하게 다뤄집니다.

"기계번역 실험에서 다국어 모델은 학습 데이터에 포함되지 않은 언어 쌍에 대해서도 제로샷 번역을 수행할 수 있었으나, 학습 언어 쌍 대비 번역 품질은 저하되었다."

자연어처리 분야에서는 특정 언어 쌍의 병렬 데이터를 전혀 학습하지 않고도 관련 언어들의 공유된 표현을 활용해 번역을 수행하는 사례를 설명할 때 이 표현이 쓰입니다.

조금 더 깊게 보면

제로샷 러닝이 가능한 근본적인 이유는 모델이 사전학습 과정에서 습득한 넓은 의미 표현(semantic representation) 공간 덕분입니다. 텍스트와 이미지, 여러 작업의 지식이 하나의 공통된 잠재 공간에 녹아들어 있기 때문에, 모델은 처음 보는 범주라도 그것과 의미적으로 가까운 기존 지식을 끌어와 유추할 수 있습니다. 논문에서는 이런 능력을 정량화하기 위해 제로샷 정확도를 퓨샷이나 파인튜닝 성능과 나란히 비교하는 경우가 많고, 최근에는 지시문 형태를 다양화해 학습시키는 인스트럭션 튜닝(instruction tuning)이 제로샷 일반화 성능을 끌어올리는 방법으로 자주 언급됩니다.

주의할 점

제로샷 성능은 퓨샷 러닝이나 파인튜닝을 거친 모델보다 대체로 낮은 경우가 많습니다. 예시가 전혀 없는 만큼 작업의 형식이나 의도를 오해할 위험도 크므로, 프롬프트 엔지니어링으로 지시문을 명확하게 다듬는 것이 성능에 큰 영향을 줍니다.