변분 오토인코더(VAE) (Variational Autoencoder (VAE))

한 줄 정의: 데이터를 확률 분포 형태의 잠재 공간으로 압축하고, 그 분포에서 샘플링해 원본과 비슷한 새로운 데이터를 생성하는 생성 모델.

쉽게 풀면

일반적인 오토인코더는 데이터를 압축(인코딩)했다가 다시 복원(디코딩)하도록 학습하는데, 압축된 값이 정확히 무엇을 의미하는지는 알기 어렵고 새로운 데이터를 생성하기에도 적합하지 않아요. VAE는 데이터를 하나의 고정된 값이 아니라 확률 분포(평균과 분산)로 압축하도록 학습시켜서, 이 분포에서 값을 무작위로 뽑아(샘플링) 디코더에 넣으면 원본과 비슷하면서도 조금씩 다른 새로운 데이터를 생성할 수 있게 만듭니다. 압축된 공간(잠재 공간)이 매끄럽고 의미 있게 구조화되도록 확률적 제약을 추가한 것이 핵심 아이디어예요. GAN보다 학습이 안정적인 편이지만, 생성되는 이미지가 다소 흐릿해지는 경향이 있다는 특징도 있습니다.

왜 중요한가

VAE는 데이터를 확률적으로 구조화된 잠재 공간에 압축함으로써, 단순한 복원을 넘어 새로운 데이터를 생성하거나 잠재 공간 위에서 의미 있는 방향으로 데이터를 조작하는 것을 가능하게 합니다. 이러한 특성 덕분에 이미지·분자·음성 생성뿐 아니라 이상 탐지, 표현학습, 준지도학습 등 생성 모델이 필요한 다양한 연구 분야의 기초 구조로 널리 채택되고 있습니다.

논문에서는 이렇게 쓰입니다

"연속적인 잠재 공간에서 새로운 분자 구조를 생성하기 위해 변분 오토인코더를 학습시켰다."

분자 데이터를 확률 분포로 압축하는 VAE를 학습시켜, 그 분포에서 샘플링해 새로운 분자 구조를 생성했다는 뜻이다.

"정상 신호만으로 VAE를 학습시킨 뒤 복원 오차가 큰 구간을 이상 신호로 판정하는 이상 탐지 기법을 제안하였다."

제조·설비 모니터링 분야에서는 VAE가 정상 데이터의 분포를 학습한다는 점을 이용해, 정상 패턴에서 벗어난 데이터를 탐지하는 이상 탐지 모델로도 흔히 활용됩니다.

"클래스 레이블 정보를 인코더와 디코더에 함께 입력하는 조건부 VAE를 통해 원하는 속성을 가진 이미지를 선택적으로 생성할 수 있었다."

컴퓨터 비전 연구에서는 이처럼 VAE에 조건 정보를 추가해 생성 결과를 원하는 방향으로 제어하는 변형 구조가 자주 제안됩니다.

조금 더 깊게 보면

VAE의 학습 목표는 데이터 복원 오차와, 근사된 잠재 분포가 사전에 정한 분포(흔히 표준정규분포)에서 얼마나 벗어나는지를 나타내는 정규화 항(쿨백-라이블러 발산)의 합으로 구성되며, 이 둘 사이의 균형을 조절하는 것이 생성 품질을 좌우합니다. 확률 분포에서의 샘플링은 그 자체로는 역전파가 불가능하기 때문에, 무작위성을 별도의 변수로 분리해 경사를 흘려보내는 재매개변수화 기법(reparameterization trick)이 학습을 가능하게 하는 핵심 장치로 쓰입니다. 이후 정규화 항의 가중치를 조절해 잠재 공간의 해석 가능성을 높이려는 베타-VAE 등 다양한 변형이 제안되어 왔습니다.

주의할 점

VAE는 잠재 공간을 매끄럽게 만드는 규제 항과 복원 품질 사이에 트레이드오프가 있어, 이 균형을 어떻게 잡았는지가 생성 품질에 큰 영향을 미친다.