비전 트랜스포머 (ViT)

한 줄 정의: 이미지를 여러 개의 작은 조각으로 잘라 마치 문장의 단어처럼 취급한 뒤, 트랜스포머 구조로 분석하는 이미지 인식 모델입니다.

쉽게 풀면

기존의 이미지 인식은 주로 합성곱 신경망이 작은 필터를 이동시키며 지역적인 특징을 뽑아내는 방식이었습니다. 비전 트랜스포머(ViT)는 이와 다르게 접근합니다. 먼저 이미지를 바둑판처럼 일정한 크기의 조각(패치)으로 자릅니다. 그리고 이 조각들을 마치 문장 속 단어들처럼 나열한 뒤, 원래 자연어 처리에 쓰이던 트랜스포머의 어텐션 메커니즘에 그대로 입력합니다. 그러면 모델은 "이 조각과 저 조각이 서로 얼마나 관련 있는지"를 계산하면서 이미지 전체의 구조를 파악합니다. 즉, 글을 이해하던 방식 그대로 그림을 이해하게 만든 모델이라고 볼 수 있습니다.

왜 중요한가

ViT는 자연어 처리에서 성공한 트랜스포머 구조를 이미지 영역으로 확장한 대표 사례로, CNN 중심이던 컴퓨터 비전 연구의 흐름을 바꾸는 계기가 되었습니다. 이미지 분류뿐 아니라 객체 탐지, 분할, 이미지-텍스트 멀티모달 모델(예: 이미지 캡셔닝, 비전-언어 모델) 등 다양한 후속 연구의 기반 구조로 널리 채택되고 있습니다. 또한 언어와 이미지가 동일한 트랜스포머 프레임워크로 처리될 수 있다는 점은 멀티모달 인공지능 연구 전반에 큰 영향을 주었습니다.

논문에서는 이렇게 쓰입니다

"제안 모델은 이미지를 16×16 크기의 패치로 분할하여 ViT 인코더에 입력하였으며, 대규모 데이터셋에서 기존 CNN 기반 모델보다 우수한 분류 정확도를 보였다."

이 문장은 "이미지를 작은 조각으로 나눈 뒤 트랜스포머 구조로 분석했더니, 기존 CNN 방식보다 이미지 분류를 더 정확하게 해냈다"는 뜻입니다.

"의료 영상 분할 과제에서 ViT 기반 인코더와 CNN 디코더를 결합한 하이브리드 구조를 제안하였다."

의료영상 분야에서는 ViT의 전역적 문맥 파악 능력과 CNN의 지역적 특징 추출 능력을 함께 활용하는 하이브리드 설계가 자주 시도된다.

"소규모 데이터셋에서의 성능 저하를 완화하기 위해 사전학습된 ViT를 전이학습 방식으로 미세조정하였다."

데이터가 제한된 응용 분야에서는 대규모 데이터로 사전학습된 ViT를 가져와 미세조정하는 방식이 일반적인 해결책으로 쓰인다.

조금 더 깊게 보면

ViT는 이미지 패치를 일렬로 나열한 뒤 각 패치의 위치 정보를 알려주는 위치 임베딩(positional embedding)을 더하고, 트랜스포머의 셀프 어텐션으로 모든 패치 쌍 사이의 관계를 계산합니다. CNN이 지역적인 필터로 특징을 쌓아 올리는 것과 달리 ViT는 처음부터 이미지 전체를 아우르는 전역적 관계를 볼 수 있지만, 그만큼 이미지의 지역적 구조를 미리 가정하지 않아 학습에 더 많은 데이터나 정교한 사전학습이 필요합니다. 이후 등장한 Swin Transformer 같은 변형 모델들은 지역적 윈도우 단위로 어텐션을 계산해 이 단점을 보완하려는 시도로 볼 수 있습니다.

주의할 점

ViT는 CNN과 달리 이미지의 지역적 구조에 대한 가정(inductive bias)이 적어서, 학습 데이터가 충분히 많지 않으면 오히려 CNN보다 성능이 떨어질 수 있습니다. 따라서 논문에서 ViT의 성능을 볼 때는 어떤 규모의 데이터셋으로 사전학습을 했는지 함께 확인하는 것이 중요합니다.