자기지도학습 (Self-supervised Learning)

한 줄 정의: 사람이 일일이 정답(라벨)을 달아주지 않아도, 데이터 자체에서 학습에 필요한 정답을 스스로 만들어 학습하는 방법입니다.

쉽게 풀면

퍼즐을 생각해봅시다. 완성된 그림의 한 조각을 가리고 "이 자리에 어떤 조각이 들어갈까?"를 계속 맞혀보면, 굳이 누가 정답을 알려주지 않아도 그림 전체의 패턴과 규칙을 스스로 익히게 됩니다. 자기지도학습도 비슷합니다. 문장의 일부 단어를 가리고 맞히게 하거나, 이미지의 일부를 가리고 복원하게 하는 식으로, 데이터 자체에서 "문제와 정답 쌍"을 자동으로 만들어냅니다. 사람이 따로 라벨을 붙이지 않아도 되기 때문에, 인터넷에 있는 방대한 텍스트나 이미지를 그대로 학습에 활용할 수 있다는 장점이 있습니다.

왜 중요한가

라벨링에는 많은 시간과 비용이 들기 때문에, 라벨 없는 데이터를 그대로 활용할 수 있는 자기지도학습은 대규모 사전학습 모델의 핵심 기반이 되었습니다. 자연어처리의 언어모델부터 컴퓨터비전의 이미지 표현 학습까지, 오늘날 널리 쓰이는 파운데이션 모델 대부분이 이 방식을 바탕으로 만들어집니다. 그래서 자기지도학습을 어떻게 설계하느냐가 이후 다운스트림 성능을 크게 좌우하는 연구 주제로 다뤄집니다.

논문에서는 이렇게 쓰입니다

"본 모델은 대규모 비라벨 텍스트 데이터에 대해 self-supervised learning 방식으로 사전학습한 후, 다운스트림 태스크에 fine-tuning하였다."

이 문장은 "사람이 라벨을 달지 않은 대량의 텍스트로 먼저 스스로 학습 신호를 만들어 훈련시킨 다음, 실제로 풀고자 하는 구체적인 작업(예: 감정 분류)에 맞춰 추가로 조정했다"는 뜻입니다.

"제안 프레임워크는 이미지의 서로 다른 augmentation 뷰 사이의 일관성을 극대화하는 contrastive self-supervised learning 목적함수를 사용하여 표현을 학습한다."

같은 이미지를 다르게 변형한 두 버전을 모델에 보여주고, 이 둘이 "같은 이미지에서 나왔다"는 사실을 스스로 맞히도록 학습시켜, 라벨 없이도 이미지의 유용한 특징을 익히게 한다는 의미입니다.

"음성 인식 모델은 오디오 신호의 일부를 마스킹한 뒤 이를 예측하는 self-supervised objective로 사전학습되었으며, 이후 소량의 라벨 데이터로 fine-tuning되었다."

음성 분야에서도 텍스트나 이미지와 유사하게, 오디오의 일부를 가리고 맞히는 과제를 통해 라벨 없는 음성 데이터에서 사전학습을 수행했다는 뜻입니다.

조금 더 깊게 보면

자기지도학습의 구체적 방식은 크게 예측형(predictive, 가려진 부분을 복원·예측)과 대조학습형(contrastive, 서로 다른 뷰를 비교해 유사/비유사를 구분)으로 나뉩니다. 대표적으로 언어모델에서는 마스킹된 토큰을 맞히는 방식이, 비전 분야에서는 이미지 변형 간 유사도를 학습하는 방식이 널리 쓰입니다. 이렇게 학습된 표현(representation)의 품질은 보통 다운스트림 태스크에 소량의 라벨 데이터로 fine-tuning했을 때의 성능으로 간접적으로 평가됩니다.

주의할 점

자기지도학습은 라벨이 전혀 없는 데이터에서 숨겨진 구조나 군집을 찾는 비지도학습(unsupervised learning)과 종종 혼동되지만, 자기지도학습은 데이터 자체에서 인위적으로 정답을 만들어 학습한다는 점에서 차이가 있습니다. 사전학습 이후에는 보통 파인튜닝 단계를 거쳐 실제 작업에 맞게 조정합니다.