지수족 (Exponential Family)

한 줄 정의: 정규분포, 이항분포, 포아송분포 등 다양한 확률분포를 하나의 통일된 수학적 형태로 표현할 수 있는 확률분포들의 집합.

쉽게 풀면

통계학에서 자주 쓰이는 여러 분포들(정규분포, 이항분포, 포아송분포, 감마분포 등)은 겉보기에는 서로 다르지만, 사실 공통된 수학적 틀 안에 넣을 수 있다는 것이 밝혀져 있는데, 이 틀을 지수족이라 부른다. 어떤 분포가 지수족에 속한다는 것을 알면 충분통계량의 존재, 최대우도추정의 좋은 성질 등 여러 이론적 결과를 한꺼번에 얻을 수 있어 매우 유용하다. 일반화선형모형(GLM)의 이론적 기반이 되는 개념이기도 하다.

왜 중요한가

지수족은 개별 분포마다 따로 증명해야 했던 여러 성질(충분통계량 존재, MLE의 점근적 성질, 켤레사전분포 존재 등)을 하나의 통일된 틀에서 한꺼번에 다룰 수 있게 해줍니다. 그 덕분에 일반화선형모형, 베이지안 추론, 지수족 기반의 변분추론 등 통계·머신러닝의 여러 핵심 방법론이 이 개념 위에 세워져 있으며, 새로운 모형을 설계할 때도 지수족 형태를 따르도록 만들면 이론적으로 다루기 쉬워집니다.

논문에서는 이렇게 쓰입니다

"반응변수의 분포가 지수족에 속한다는 가정 하에 일반화선형모형을 구성하였다."

일반화선형모형(로지스틱 회귀, 포아송 회귀 등)의 이론적 틀을 설명할 때 등장하는 핵심 개념이다.

"사전분포와 우도가 모두 지수족에 속할 경우 켤레성(conjugacy)이 성립함을 이용해 사후분포를 닫힌 형태로 유도하였다."

베이지안 통계 논문에서 사후분포 계산을 단순화하기 위해 지수족의 켤레성을 활용하는 대목이다.

"관측 모델을 지수족 분포로 가정하여 변분추론에서의 최적화 문제를 볼록 최적화 형태로 환원하였다."

확률적 그래프 모형이나 변분추론을 다루는 머신러닝 논문에서, 계산 효율을 위해 관측 분포를 지수족으로 설정하는 경우다.

조금 더 깊게 보면

지수족 분포는 일반적으로 자연모수(natural parameter), 충분통계량, 로그분배함수(log-partition function)라는 구성요소로 표현되며, 로그분배함수의 미분이 충분통계량의 기댓값과 분산 등 모멘트를 바로 준다는 성질이 자주 활용됩니다. 또한 곡률지수족(curved exponential family)처럼 모수 공간에 제약이 걸린 변형도 존재하며, 이 경우 표준 지수족의 편리한 성질 일부가 성립하지 않을 수 있습니다. 논문을 읽을 때는 해당 분포가 정규형(canonical form) 지수족인지, 자연모수와 평균모수(mean parameter) 중 어느 쪽으로 매개변수화되어 있는지를 확인하면 이해에 도움이 됩니다.

주의할 점

모든 확률분포가 지수족에 속하는 것은 아니며(예: 균등분포는 모수 범위에 따라 지수족이 아닐 수 있다), 이 경우 지수족의 편리한 성질들을 활용할 수 없다.