디리클레 분포 (Dirichlet Distribution)
한 줄 정의: 합이 1인 비율 벡터에 확률을 부여하는 다변량 분포로, 다항분포의 켤레사전분포입니다.
쉽게 풀면
여러 범주의 비율을 한꺼번에 다루려면 각 성분이 0 이상이고 합이 1이라는 제약을 만족해야 합니다. 디리클레 분포는 이런 비율 벡터 전체에 확률을 주는 분포입니다. 베타분포를 범주가 셋 이상인 경우로 확장한 것이라고 생각하면 쉽습니다.
왜 중요한가
범주형 자료의 베이지안 분석에서 확률벡터에 대한 사전분포로 표준적으로 쓰입니다. 토픽모델이나 혼합모형처럼 잠재적인 비율 구조를 다루는 모형의 핵심 구성요소이기도 합니다.
논문에서는 이렇게 쓰입니다
"범주 확률에 대한 사전분포로 모든 성분이 1인 디리클레 분포를 설정하여 무정보 사전분포를 구현하였다."
비율 벡터에 균등한 사전 믿음을 주는 분포를 사용했다는 뜻입니다.
조금 더 깊게 보면
모수는 각 범주에 대응하는 양의 값들로, 그 비율이 평균 비율을 결정하고 총합은 분포의 집중도를 결정합니다. 총합이 크면 평균 근처에 몰리고 작으면 한 범주에 확률이 쏠린 희소한 벡터가 잘 나옵니다. 다항 관측을 얻으면 사후분포도 디리클레가 되어 모수에 관측 빈도를 더하는 간단한 갱신이 가능하며, 성분 하나의 주변분포는 베타분포입니다.
주의할 점
베타분포가 확률 하나를 다루는 반면 디리클레 분포는 여러 확률을 동시에 다루며, 성분들이 합 1의 제약으로 음의 상관을 가진다는 점이 중요합니다. 잠재디리클레할당은 이 분포를 활용한 구체적인 모형이지 분포 자체가 아닙니다.