깁스 표집 (Gibbs Sampling)

한 줄 정의: 여러 변수의 결합 사후분포를 직접 계산하기 어려울 때, 각 변수를 나머지 변수 값에 조건부로 하나씩 번갈아 표집하여 전체 분포를 근사하는 MCMC(마르코프 연쇄 몬테카를로) 기법입니다.

쉽게 풀면

세 사람이 방 온도, 습도, 조명을 동시에 딱 맞는 값으로 맞추려 한다고 해봅시다. 세 가지를 한꺼번에 최적화하기는 어렵지만, "온도는 지금 습도와 조명에 맞춰 조정하고, 그다음 습도를 지금 온도와 조명에 맞춰 조정하고, 그다음 조명을 조정하고…"를 계속 반복하면 결국 세 값 모두 안정적인 지점에 수렴합니다. 깁스 표집도 이런 방식입니다. 여러 변수를 동시에 다루는 복잡한 베이지안 추론 문제에서, 한 번에 하나의 변수만 "나머지는 고정한 채" 표집하는 과정을 수천 번 반복하면 전체 변수들의 결합 확률분포를 실제로 계산하지 않고도 그 분포에서 표본을 뽑아낸 것과 같은 효과를 얻습니다.

왜 중요한가

깁스 표집은 변수가 많고 복잡한 계층적 베이지안 모형에서 사후분포를 수식으로 직접 구할 수 없을 때 실질적으로 추론을 가능하게 해주는 대표적 도구이기 때문에, 통계학뿐 아니라 생물통계, 계량경제, 자연어처리의 토픽모델 등 다양한 응용 분야 논문에서 널리 쓰입니다. 조건부분포가 알려진 형태(예: 켤레사전분포)를 가질 때 특히 효율적으로 작동해, 복잡한 모형의 모수 추정이나 잠재변수 추론을 실용적인 계산 문제로 바꿔준다는 점에서 중요합니다.

논문에서는 이렇게 쓰입니다

"모수의 사후분포를 해석적으로 구하기 어려워, 깁스 표집(Gibbs sampling)을 이용해 10,000회 반복 후 사후 표본을 추출하였다."

이 문장은 "수식으로 직접 풀 수 없는 복잡한 베이지안 모형이라, 컴퓨터 시뮬레이션(반복 표집)으로 사후분포의 형태를 근사했다"는 뜻입니다. 이렇게 얻은 표본으로 평균, 분산, 신용구간 등을 계산합니다.

"잠재 디리클레 할당(LDA) 토픽모델의 문서-토픽, 토픽-단어 분포를 추정하기 위해 붕괴 깁스 표집(collapsed Gibbs sampling)을 적용하였다."

이 문장은 자연어처리 분야에서 대량의 텍스트로부터 잠재 토픽 구조를 추론할 때, 일부 변수를 적분해 제거한 뒤 나머지 변수만 표집하는 변형된 깁스 표집 기법을 사용한 사례를 보여줍니다.

조금 더 깊게 보면

깁스 표집이 잘 작동하려면 각 변수의 조건부분포가 알려진 표준 분포 형태여야 하며, 그렇지 않을 경우 조건부분포에서 표본을 뽑는 것 자체가 어려워질 수 있습니다. 수렴 여부를 점검할 때는 여러 개의 독립적인 체인을 동시에 돌려 체인 간 분산과 체인 내 분산을 비교하는 지표(예: Gelman-Rubin 통계량)를 활용하는 경우가 많으며, 표본 간 자기상관이 높을 때는 일정 간격으로만 표본을 취하는 시닝(thinning)을 적용하기도 합니다.

주의할 점

깁스 표집은 초기 몇백~몇천 번의 표집(번인, burn-in)이 아직 진짜 사후분포에 도달하지 못한 상태일 수 있어 이를 버리고 분석해야 하며, 변수 간 상관이 매우 높으면 수렴이 느려질 수 있습니다. 조건부분포를 직접 유도하기 어려운 경우에는 몬테카를로 시뮬레이션 계열의 다른 방법(예: 메트로폴리스-헤이스팅스)이 대안으로 쓰입니다.