디퓨전 모델 (Diffusion Model)
쉽게 풀면
깨끗한 사진을 아주 조금씩 흐릿하게 만들다가 결국 완전한 잡음(모래알처럼 지지직거리는 화면) 상태로 만드는 과정을 상상해보세요. 디퓨전 모델은 바로 이 과정을 거꾸로 학습합니다. 즉 "완전한 잡음에서 시작해서 한 단계씩 잡음을 걷어내면 원래 사진이 어떻게 복원되는지"를 배우는 것입니다. 학습이 끝나면 처음부터 순수한 잡음 이미지만 주어도, 모델이 그 잡음을 조금씩 걷어내면서 전에 없던 완전히 새로운 이미지를 그려낼 수 있게 됩니다. Stable Diffusion 같은 이미지 생성 AI가 이 방식을 사용합니다.
왜 중요한가
디퓨전 모델은 기존 생성적 적대 신경망(GAN)이 겪던 학습 불안정성 문제를 상당 부분 해결하면서도 높은 품질의 이미지를 생성할 수 있어, 최근 몇 년간 이미지·영상·오디오 생성 분야의 주류 방법론으로 자리잡았습니다. 텍스트-이미지 생성, 이미지 편집, 3D 콘텐츠 생성, 신약 후보 물질의 분자구조 생성 등 다양한 응용 분야에서 핵심 백본으로 채택되면서, 컴퓨터비전과 생성형 AI를 다루는 논문에서 가장 빈번하게 인용되는 모델 구조 중 하나가 되었습니다.
논문에서는 이렇게 쓰입니다
이 문장은 노이즈를 점진적으로 제거하는 생성 모델을 활용해, 화질이 낮은 의료 영상을 선명하게 복원하는 새로운 방법을 제시했다는 뜻입니다.
텍스트-이미지 생성 연구에서는 사용자가 입력한 문장을 조건으로 삼아, 그 조건에 맞는 이미지를 노이즈로부터 점진적으로 생성해내는 방식이 널리 쓰입니다.
신약 개발 연구에서도 분자구조 자체를 데이터로 취급해, 원하는 특성을 지닌 새로운 분자를 디퓨전 모델로 생성하려는 시도가 이루어지고 있습니다.
조금 더 깊게 보면
디퓨전 모델의 학습 과정은 크게 원본 데이터에 점진적으로 노이즈를 더해가는 순방향 과정(forward process)과, 노이즈로부터 원본을 복원하도록 신경망이 각 단계의 노이즈를 예측하도록 학습하는 역방향 과정(reverse process)으로 구성됩니다. 매 단계마다 전체 이미지 크기의 노이즈를 예측해야 해서 계산 비용이 크다는 단점을 보완하기 위해, 이미지를 압축된 잠재공간(latent space)에서 diffusion을 수행하는 잠재 디퓨전 모델(latent diffusion model, 예: Stable Diffusion)이 널리 쓰입니다. 또한 생성 속도를 높이기 위해 노이즈 제거 단계 수를 줄이는 다양한 가속 샘플링 기법들도 활발히 연구되고 있습니다.
주의할 점
디퓨전 모델은 생성적 적대 신경망과 달리 이미지를 한 번에 만들지 않고 노이즈 제거를 여러 단계에 걸쳐 반복하기 때문에, 학습은 비교적 안정적이지만 이미지 하나를 생성하는 데 시간이 더 오래 걸릴 수 있습니다.