켤레사전분포 (Conjugate Prior)

한 줄 정의: 특정 우도함수와 결합했을 때 사전분포와 같은 분포族(family)의 사후분포가 나오도록 짝지어진 사전분포입니다.

쉽게 풀면

베이지안 분석은 "사전 믿음(사전분포)"에 "관측 데이터(우도)"를 곱해서 "갱신된 믿음(사후분포)"을 얻는 과정입니다. 그런데 이 곱셈 결과가 수학적으로 아주 복잡한 새로운 분포 모양이 되면 계산이 매우 어려워집니다. 켤레사전분포는 이런 골칫거리를 피하는 요령입니다. 예를 들어 동전의 앞면이 나올 확률을 추정할 때, 사전분포로 베타분포를 쓰고 데이터가 이항분포를 따른다면, 사후분포도 신기하게 베타분포 형태로 딱 떨어집니다. 즉 "같은 종류의 분포끼리 짝을 맞춰두면, 사전분포의 모수만 몇 개 더하고 빼는 간단한 계산으로 사후분포를 바로 구할 수 있는" 편리한 조합인 것입니다.

왜 중요한가

베이지안 통계는 사전분포·우도·사후분포를 다루는 계산 자체가 진입장벽인 경우가 많은데, 켤레사전분포는 그 계산 부담을 크게 낮춰 주기 때문에 이론 논문뿐 아니라 실무에 가까운 응용 논문에서도 폭넓게 쓰입니다. 특히 온라인 학습이나 실시간 갱신이 필요한 시스템(예: 추천 시스템의 파라미터 업데이트, 순차적 실험 설계)에서는 데이터가 들어올 때마다 사후분포를 즉시 재계산해야 하는데, 켤레 구조가 있으면 이 갱신을 닫힌 형태(closed form)로 처리할 수 있어 계산 비용을 크게 줄일 수 있습니다. 또한 깁스 표집 같은 MCMC 기법의 내부 단계에서도 조건부 분포를 켤레 관계로 설계해 표집 효율을 높이는 경우가 많아, 베이지안 방법론을 다루는 논문을 이해하려면 꼭 짚고 넘어가야 하는 개념입니다.

논문에서는 이렇게 쓰입니다

"이항 우도에 대한 켤레사전분포(conjugate prior)로 베타분포 Beta(2, 2)를 설정하여 사후분포를 해석적으로 도출하였다."

이 문장은 "복잡한 수치 시뮬레이션 없이도 수식만으로 사후분포를 정확히 계산할 수 있는 사전분포를 골랐다"는 뜻입니다. 이렇게 하면 깁스 표집 같은 반복 계산 없이도 빠르게 결과를 얻을 수 있습니다.

"포아송 분포를 따르는 사건 발생률을 추정하기 위해 감마분포를 켤레사전분포로 채택하였으며, 관측 횟수가 누적될수록 사후분포의 분산이 점진적으로 감소하는 것을 확인하였다."

이 예문은 신뢰도 분석이나 대기행렬 모형처럼 사건이 얼마나 자주 발생하는지를 추정하는 연구에서 흔히 볼 수 있는 표현입니다. 감마-포아송 켤레 관계를 이용하면 데이터가 쌓일수록 추정치가 점점 더 확신을 갖게 되는 과정을 수식으로 명확히 보여줄 수 있습니다.

"사용자별 클릭률(CTR)을 모형화할 때 베타-이항 켤레사전분포를 적용하여 각 광고 노출 결과가 들어올 때마다 파라미터를 즉시 갱신하는 온라인 추정 절차를 설계하였다."

이 문장은 추천 시스템이나 온라인 광고 실험처럼 데이터가 실시간으로 들어오는 응용 분야에서 자주 쓰이는 표현입니다. 켤레 관계 덕분에 매번 처음부터 다시 계산하지 않고도 이전 사후분포에 새 데이터만 반영해 빠르게 갱신할 수 있다는 점을 강조합니다.

조금 더 깊게 보면

켤레사전분포가 성립하는 짝은 사전분포와 우도함수의 확률분포 族(family)이 서로 맞물려 있는 경우로 한정되며, 대표적으로 이항-베타, 포아송-감마, 정규분포-정규분포(평균 추정 시) 등이 자주 언급됩니다. 이때 사전분포가 가진 모수를 흔히 "유사 관측치(pseudo-count)"처럼 해석하기도 하는데, 이는 사전분포 자체가 마치 이전에 몇 건의 데이터를 미리 관측한 것과 같은 효과를 준다는 뜻입니다. 다만 실제 연구 대상 모형이 다변량이거나 계층적 구조를 가지면 완전한 켤레 관계를 찾기 어려운 경우가 많아, 이런 상황에서는 조건부 켤레성(conditional conjugacy)만 성립하는 부분을 활용해 깁스 표집의 각 단계를 설계하거나, 아예 켤레성을 포기하고 변분추론(variational inference) 같은 근사 기법을 병행하는 경우가 일반적입니다.

주의할 점

켤레사전분포는 계산이 편리하다는 이유만으로 선택하면 실제 사전 지식을 왜곡할 위험이 있습니다. 모형이 복잡해 켤레 관계가 성립하지 않는 경우에는 깁스 표집과 같은 수치적 근사 방법을 사용해야 하며, 사후분포를 그대로 신뢰하기 전에 사후예측점검으로 모형 적합도를 확인하는 것이 좋습니다.