변분추론 (Variational Inference)

한 줄 정의: 계산이 어려운 사후분포를 직접 다루는 대신, 다루기 쉬운 분포족 안에서 사후분포와 가장 가까운 분포를 최적화를 통해 찾아내는 베이지안 근사 추론 방법.

쉽게 풀면

MCMC 방법이 표본을 반복적으로 추출해 사후분포를 근사한다면, 변분추론은 접근 방식이 완전히 달라서 '사후분포와 가장 비슷한 간단한 분포(예: 정규분포)를 수학적으로 찾는' 최적화 문제로 바꾸어 푼다. 이렇게 하면 반복적인 표집 없이 최적화 알고리즘만으로 근사적인 사후분포를 훨씬 빠르게 얻을 수 있어서, 대규모 자료나 복잡한 딥러닝 모형에서 특히 유용하다. 다만 근사의 정확도는 MCMC보다 떨어질 수 있다는 한계가 있다.

왜 중요한가

베이지안 모형은 사후분포를 정확히 계산하기 어려운 경우가 많은데, 변분추론은 이를 최적화 문제로 바꾸어 대규모 데이터나 복잡한 모형에서도 실용적인 시간 안에 근사 결과를 얻을 수 있게 해줍니다. 이 때문에 대규모 텍스트·이미지 데이터를 다루는 토픽 모델링, 확률적 딥러닝, 추천 시스템 등 계산 효율이 중요한 여러 응용 분야에서 MCMC의 대안으로 폭넓게 채택되고 있습니다.

논문에서는 이렇게 쓰입니다

"대규모 자료에서 계산 효율성을 높이기 위해 MCMC 대신 변분추론을 이용해 사후분포를 근사하였다."

표본 크기나 모수가 매우 커서 MCMC의 계산 비용이 지나치게 큰 경우 빠른 근사 추론 방법으로 사용된다.

"문서 집합의 잠재 토픽 구조를 추정하기 위해 잠재 디리클레 할당(LDA) 모형에 변분추론을 적용하였다."

자연어처리의 토픽 모델링 연구에서는 대량의 문서를 다루기 위해 변분추론을 사후분포 근사 방법으로 표준적으로 사용합니다.

"딥러닝 기반 생성 모형의 학습 과정에서 잠재 변수에 대한 사후분포를 변분추론으로 근사하여 확률적 경사하강법으로 최적화하였다."

변분 오토인코더와 같은 딥러닝 생성 모형에서는 변분추론의 아이디어가 신경망 학습과 결합되어, 확률적 경사하강법으로 대규모 매개변수를 함께 최적화하는 방식으로 확장됩니다.

조금 더 깊게 보면

변분추론은 근사분포와 실제 사후분포 사이의 차이를 쿨백-라이블러 발산으로 측정하고, 이를 최소화하는 대신 계산 가능한 형태인 증거 하한(ELBO, evidence lower bound)을 최대화하는 방식으로 문제를 푸는 것이 일반적입니다. 근사분포의 형태를 각 변수가 독립이라고 가정하는 평균장(mean-field) 방식으로 단순화하면 계산이 쉬워지지만 변수 간 상관관계를 반영하지 못해 근사 오차가 커질 수 있습니다. 최근에는 신경망으로 근사분포를 유연하게 표현하는 확률적 변분추론 기법들이 발전하면서, 전통적 통계 모형뿐 아니라 딥러닝 기반 생성 모형에도 폭넓게 적용되고 있습니다.

주의할 점

변분추론은 근사분포족을 어떻게 설정하느냐에 따라 정확도가 좌우되며, 일반적으로 사후분포의 불확실성을 실제보다 과소평가하는 경향이 있다.