중요도 표집 (Importance Sampling)

한 줄 정의: 다루기 쉬운 분포에서 표본을 뽑고 가중치를 붙여 목표 분포의 기댓값을 추정하는 방법입니다.

쉽게 풀면

관심 있는 분포에서 직접 표본을 뽑기 어려울 때가 많습니다. 중요도 표집은 대신 뽑기 쉬운 제안분포에서 표본을 만들고, 각 표본에 목표분포 밀도와 제안분포 밀도의 비를 가중치로 붙입니다. 이 가중평균이 원하는 기댓값의 불편추정치가 됩니다.

왜 중요한가

베이지안 계산, 희귀사건 확률 추정, 강화학습의 오프정책 평가 등 직접 표집이 불가능한 문제 전반에서 기본 도구로 쓰입니다. 특히 드문 사건의 확률을 추정할 때 표본을 관심 영역에 집중시켜 계산량을 크게 줄일 수 있습니다.

논문에서는 이렇게 쓰입니다

"사후분포의 기댓값은 제안분포에서 뽑은 표본에 중요도 가중치를 적용하여 추정하였다."

표집이 쉬운 분포를 이용하고 가중치로 보정해 목표량을 계산했다는 뜻입니다.

조금 더 깊게 보면

추정의 정확도는 제안분포가 목표분포의 형태, 특히 꼬리를 얼마나 잘 덮는지에 달려 있습니다. 가중치의 분산이 크면 몇 개 표본이 추정을 지배해 유효표본크기가 급격히 작아지므로, 가중치 분포와 유효표본크기를 함께 점검합니다. 정규화 상수를 모를 때는 가중치를 합이 1이 되게 정규화한 자기정규화 형태를 쓰며, 이 경우 약간의 편향이 생기지만 일치성은 유지됩니다. 파레토 평활 같은 안정화 기법도 널리 쓰입니다.

주의할 점

중요도 표집은 표본들이 서로 독립이라는 점에서 연쇄를 만들어 표집하는 마르코프 연쇄 몬테카를로와 다릅니다. 제안분포를 잘못 고르면 결과가 크게 왜곡되므로 가중치 진단 없이 결과를 신뢰해서는 안 됩니다.