트랜스포머 구조 (Transformer Architecture)

한 줄 정의: 순환 구조 없이 어텐션 메커니즘만으로 입력 시퀀스 내 요소 간 관계를 병렬적으로 처리하는 신경망 구조.

쉽게 풀면

기존의 순환 신경망은 단어를 한 개씩 순서대로 처리해야 해서 느리고, 문장이 길어지면 앞부분 정보를 잊어버리는 문제가 있었어요. 트랜스포머는 이런 순차 처리 대신 멀티헤드 어텐션을 이용해 문장의 모든 단어를 한꺼번에 살펴보며 서로의 관계를 계산합니다. 이 덕분에 학습 속도가 훨씬 빨라졌고, 긴 문맥도 잘 다룰 수 있게 되었어요. 오늘날 GPT, BERT 등 대부분의 대형 언어 모델이 이 구조를 기반으로 만들어졌습니다.

왜 중요한가

트랜스포머 구조는 자연어처리를 넘어 이미지, 음성, 단백질 구조 예측 등 다양한 분야의 대형 모델 설계에서 사실상 표준으로 자리잡았기 때문에, 새로운 모델을 제안하는 논문의 대부분이 이 구조를 기본 뼈대로 삼거나 그 변형을 다룹니다. 어떤 구성 요소를 어떻게 바꾸었는지가 곧 연구의 기여점이 되는 경우가 많아, 구조 자체를 정확히 이해하는 것이 관련 논문을 읽는 데 필수적입니다.

논문에서는 이렇게 쓰입니다

"본 연구는 표준 트랜스포머 인코더-디코더 구조를 기반으로 모델을 설계하였다."

순환 신경망 대신 어텐션 기반의 트랜스포머 구조를 모델의 뼈대로 사용했다는 뜻이다.

"이미지를 일정 크기의 패치로 분할한 뒤 트랜스포머 인코더에 입력하는 비전 트랜스포머 구조를 채택하였다."

컴퓨터비전 분야에서 트랜스포머 구조를 이미지 데이터에 적용한 방식을 설명한 문장이다.

"디코더 전용 트랜스포머 구조를 채택하여 자기회귀 방식으로 다음 토큰을 순차적으로 생성하도록 모델을 학습시켰다."

인코더 없이 디코더만 사용하는 트랜스포머 변형 구조를 설명한 문장이다.

조금 더 깊게 보면

트랜스포머 구조는 크게 인코더-디코더형(원래 번역 모델), 인코더 전용형(BERT류), 디코더 전용형(GPT류)으로 나뉘며, 각 구조는 이해 중심 과제와 생성 중심 과제 중 어디에 초점을 두는지에 따라 선택됩니다. 각 블록은 셀프 어텐션, 피드포워드 층, 잔차 연결, 레이어 정규화로 구성되며, 이 조합의 순서나 정규화 위치를 조정하는 것도 흔히 연구되는 변형 방향 중 하나입니다.

주의할 점

입력 순서 정보가 구조 자체에 내재되어 있지 않기 때문에 위치 인코딩을 별도로 더해줘야 순서 정보를 반영할 수 있다.