용어 목록 > 베이지안 모형평균 (Bayesian Model Averaging)

베이지안 모형평균 (Bayesian Model Averaging)

쉽게 풀면

어떤 질문에 대해 전문가 10명에게 의견을 물으면 답이 조금씩 다를 수 있습니다. 이때 한 명의 말만 믿기보다, 각 전문가의 신뢰도(과거 예측이 얼마나 잘 맞았는지)에 따라 비중을 다르게 주어 의견을 종합하면 더 안정적인 결론을 얻을 수 있습니다. 베이지안 모형평균도 같은 발상입니다. 연구자가 "이 변수들의 조합이 진짜 모형이다"라고 하나로 단정하지 않고, 가능한 여러 설명변수 조합(모형)들을 동시에 두고 각 모형이 데이터를 얼마나 잘 설명하는지에 따라 확률적 가중치를 매긴 뒤, 그 가중치로 예측과 계수를 평균 내는 것입니다. 이렇게 하면 특정 모형 하나를 잘못 고르는 데서 오는 위험을 줄일 수 있습니다.

왜 중요한가

실증 연구에서는 어떤 변수를 모형에 포함해야 하는지가 처음부터 명확하지 않은 경우가 많습니다. 연구자가 임의로 하나의 모형을 골라 결론을 내리면, 그 선택 자체가 결과를 왜곡할 수 있다는 비판(모형 선택 불확실성)을 피하기 어렵습니다. 베이지안 모형평균은 이 문제를 정면으로 다루기 때문에 경제성장 결정요인, 유전자·질병 연관성 분석, 정책 효과 추정처럼 후보 설명변수가 많고 이론적으로 어떤 조합이 옳은지 합의가 부족한 분야의 논문에서 특히 자주 등장합니다. 또한 예측 성능을 높이기 위한 앙상블 기법과도 개념적으로 맞닿아 있어, 통계·계량경제학뿐 아니라 머신러닝 인접 연구에서도 관련 논의가 이어집니다.

어떤 절차인가

1. 후보 모형 정하기: 설명변수의 조합마다 하나의 모형으로 봅니다.
2. 모형별 사후확률 구하기: 각 모형이 자료를 얼마나 잘 설명하는지(우도)와 모형에 대한 사전확률을 결합해 사후모형확률을 구합니다.
3. 가중 평균: 예측이나 계수를 모형별 값의 평균으로 내되, 가중치를 사후모형확률로 줍니다.
4. 변수 중요도: 어떤 변수를 포함한 모형들의 사후확률을 모두 더하면 그 변수의 사후포함확률(PIP)이 됩니다.

사전확률이 결과에 영향을 주므로 어떤 사전을 썼는지가 중요합니다. 일부 소프트웨어(R 패키지)는 BIC(베이즈 정보기준)에 근거한 근사를 사용합니다.

언제 쓰고 무엇을 얻나

변수를 어떻게 고르느냐에 따라 결론이 달라지는 상황, 곧 모형 불확실성이 큰 경우에 씁니다. 하나의 모형을 골라 그 모형이 맞다고 가정하는 대신 여러 모형을 확률로 가중해 불확실성을 결과에 반영합니다. 국가 간 경제성장 회귀처럼 후보 설명변수가 많은 문제에서 널리 적용되었습니다(Fernández 외, 2001; Sala-i-Martin 외, 2004).

가상의 예입니다. 세 모형의 BIC가 200.0(M1: x1만 포함), 201.5(M2: x1, x2 포함), 204.0(M3: x2만 포함)이라 하고, 모형의 사전확률은 같으며 사후모형확률이 exp(−BIC/2)에 비례한다고 근사합니다(BIC 근사).

x1을 포함한 모형은 M1과 M2이므로 PIP(x1) = 0.622 + 0.294 = 0.916, x2를 포함한 모형은 M2와 M3이므로 PIP(x2) = 0.294 + 0.084 = 0.378입니다.

논문에는 이렇게 적는다

• 후보 모형 공간: 후보 변수의 수와 포함 방식, 모형 사전확률(균등 여부).
• 계수 사전분포: 어떤 사전을 썼는지와 민감도 확인 여부.
• 탐색 방법: 후보가 많으면 모든 모형을 계산하지 못하므로 MCMC 등 탐색 알고리즘과 수렴 점검 결과.
• 보고 지표: 변수별 사후포함확률, 평균 계수와 불확실성.
• 한계: 사전 선택에 결과가 의존하고, 후보 모형이 모형 공간을 충분히 담지 못하면 가중치가 자료 분포에 가장 가까운 한 모형에 쏠려 결국 모형선택과 비슷해질 수 있다는 점.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 연구자가 어떤 변수를 모형에 넣을지 확신할 수 없는 상황에서, 가능한 모든 변수 조합의 모형을 비교하고 각 변수가 "진짜 설명력이 있을 확률"(사후포함확률)을 계산해 결과의 신뢰도를 높였다는 뜻입니다. 경제성장 결정요인 연구나 유전체 분석처럼 후보 변수가 매우 많은 분야에서 자주 쓰입니다.

거시경제 성장 결정요인 연구는 후보 변수가 수십 개에 이르는 대표적인 분야입니다. 이 문장은 연구자가 특정 모형 하나만 고집하지 않고, 여러 후보 모형의 추정 결과를 종합해 더 신뢰할 수 있는 계수를 제시했다는 의미입니다.

유전체 분석처럼 잠재적 설명변수(유전자)가 매우 많은 분야에서도 BMA는 어떤 변수가 결과와 실제로 관련이 있는지를 확률적으로 평가하는 도구로 쓰입니다. 특정 유전자 하나를 임의로 고르지 않고, 여러 조합을 비교해 상대적으로 신뢰도가 높은 후보를 걸러낸다는 점이 핵심입니다.

조금 더 깊게 보면

BMA에서 핵심적인 두 개념은 사후모형확률(posterior model probability)과 사후포함확률(posterior inclusion probability, PIP)입니다. 사후모형확률은 각 후보 모형이 데이터를 얼마나 잘 설명하는지를 반영한 가중치이고, 사후포함확률은 특정 변수가 포함된 모형들의 사후모형확률을 모두 합산한 값으로, 그 변수가 "진짜로 중요한 설명변수일 확률"을 나타냅니다. 후보 변수가 많아질수록 가능한 모형의 수가 기하급수적으로 늘어나기 때문에, 실제 연구에서는 모든 모형을 다 계산하지 않고 마르코프체인 몬테카를로(MCMC) 기반의 모형탐색 알고리즘으로 확률이 높은 모형들 위주로 근사 탐색하는 경우가 일반적입니다. 논문을 읽을 때는 어떤 사전확률(prior)을 모형과 계수에 부여했는지, 그리고 탐색이 충분히 수렴했는지를 함께 살펴보는 것이 결과 해석에 도움이 됩니다.

주의할 점

BMA는 하나의 베이지안 추론 틀 안에서 "어떤 모형이 맞는가"에 대한 불확실성까지 반영한다는 점에서, 하나의 모형을 고정해 놓고 그 모형 안의 모수만 추정하는 일반적인 통계 분석과 다릅니다. 계산량이 많아 후보 모형 수가 매우 클 경우 근사적인 탐색 알고리즘을 사용하는 경우가 많다는 점도 함께 알아두면 좋습니다.

헷갈리기 쉬운 용어

여러 모형을 다루는 방법들입니다.

참고 문헌

1. Hoeting, J. A., Madigan, D., Raftery, A. E., & Volinsky, C. T. (1999). Bayesian model averaging: a tutorial. Statistical Science, 14(4), 382–417.
2. Raftery, A. E., Madigan, D., & Hoeting, J. A. (1997). Bayesian model averaging for linear regression models. Journal of the American Statistical Association, 92(437), 179–191.
3. Fernández, C., Ley, E., & Steel, M. F. J. (2001). Model uncertainty in cross-country growth regressions. Journal of Applied Econometrics, 16(5), 563–576.
4. Sala-i-Martin, X., Doppelhofer, G., & Miller, R. I. (2004). Determinants of long-term growth: a Bayesian averaging of classical estimates (BACE) approach. American Economic Review, 94(4), 813–835.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어