영과잉모형 (Zero-inflated Model)

통계

한 줄 정의: 원천적으로 사건이 발생할 수 없어 생기는 '진짜 0'과 발생 가능하지만 우연히 관측되지 않은 '일반적인 0'이 섞여 있어 값이 0인 관측치가 지나치게 많은 계수자료를 분석하기 위한 통계모형입니다.

쉽게 풀면

금연클리닉 방문 환자들의 "한 달간 흡연 개수"를 조사했더니 절반 가까이가 0개비였다고 해봅시다. 이 0에는 두 가지 다른 의미가 섞여 있을 수 있습니다. 하나는 "원래부터 담배를 완전히 끊어서 앞으로도 절대 피우지 않을 사람"이고, 다른 하나는 "여전히 흡연자이지만 이번 달엔 우연히 한 대도 안 피운 사람"입니다.

일반적인 포아송분포 같은 모형은 이 둘을 구분하지 못해 0이 너무 많으면 모형이 잘 들어맞지 않습니다. 영과잉모형은 "완전히 끊은 사람(구조적 0)에 속하는가"를 따지는 부분과, 그 밖의 사람들이 "몇 개비를 피우는가"를 세는 부분을 각각 따로 모형화합니다. 뒤쪽 부분에서도 우연히 0이 나올 수 있으므로, 두 종류의 0을 함께 설명해 지나치게 많은 0을 자연스럽게 다룹니다. 반대로 0을 모두 첫 번째 부분에서만 설명하는 모형은 허들 모형(hurdle model)이라고 따로 부릅니다.

왜 중요한가

0이 지나치게 많은 계수자료를 일반적인 포아송 회귀 등으로 분석하면 모형이 자료를 제대로 설명하지 못해 왜곡된 결론을 낼 위험이 있습니다. 영과잉모형은 "발생 자체가 불가능한 집단"과 "발생 가능하지만 우연히 0을 관측한 집단"을 구분해 분석함으로써 보건, 생태, 보험, 제조업 품질관리 등 실제로 0이 몰리는 자료를 다루는 다양한 분야에서 더 타당한 추론을 가능하게 해줍니다.

언제 쓰나

종속변수가 0, 1, 2, … 의 횟수(계수자료)이고 0이 포아송·음이항 모형이 예측하는 것보다 훨씬 많으며, 그 0이 두 가지 다른 이유에서 올 수 있다고 이론적으로 설명할 수 있을 때 씁니다.

예: 흡연 개수에서 “완전히 끊은 사람”(구조적 0)과 “피우지만 이번 달엔 0개비인 사람”(우연한 0).
0이 많다는 사실만으로 영과잉모형이 필요한 것은 아닙니다. 설명변수가 잘 반영된 포아송 회귀나 음이항 회귀로도 0이 충분히 많이 예측될 수 있습니다.
0이 되는 과정과 양수 횟수를 세는 과정을 아예 따로 모형화하는 허들모형도 대안입니다. 허들모형은 모든 0을 한 과정에서 나온다고 보고, 영과잉모형은 0이 두 곳에서 나온다고 봅니다.

고전적 참고문헌은 Lambert(1992)의 영과잉 포아송 회귀(ZIP)입니다. 과산포가 함께 있으면 영과잉 음이항 모형(ZINB)을 씁니다.

결과는 이렇게 읽는다

모형은 두 부분으로 출력됩니다. 반드시 어느 부분의 계수인지 구분해서 읽습니다.

횟수 부분(포아송/음이항, 로그 연결): 계수를 지수화한 exp(b)는 설명변수가 1 늘 때 횟수 평균이 몇 배가 되는지(발생률비, IRR)입니다.
영과잉 부분(로지스틱, 로짓 연결): “구조적 0 집단에 속할” 확률 π를 모형화합니다. exp(b)는 구조적 0일 오즈의 배수입니다. 계수가 양수이면 구조적 0이 될 가능성이 커진다는 뜻이어서, 횟수 부분의 방향과 반대로 느껴질 수 있습니다.

P(Y = 0) = π + (1 − π)e^−λ (ZIP), 평균 = (1 − π)λ

작은 예(가상의 모수): λ = 1.5, π = 0.3이면 포아송만 쓸 때 P(0) = e^−1.5 = .223이지만 영과잉 포아송에서는 .3 + .7 × .223 = .456입니다. 평균은 (1 − .3) × 1.5 = 1.05이고 분산은 1.52로 평균보다 커서, 영과잉 자체가 과산포를 낳는다는 점도 보입니다.

모형 선택: AIC·BIC로 포아송, 음이항, ZIP, ZINB, 허들모형을 비교하고, 관측된 0의 개수와 모형이 예측한 0의 개수를 직접 비교합니다. 영과잉 포아송을 일반 포아송과 비교하는 데 Vuong(1989) 검정을 쓰는 사례가 많았으나 이 용도에 대한 비판이 있으므로(Wilson, 2015) AIC/BIC와 예측 비교를 중심으로 판단하는 편이 안전합니다.

논문에는 이렇게 보고한다

(수치는 형식을 보여 주는 가상의 값입니다.)

재방문 횟수의 62%가 0이었고 포아송 모형은 0의 비율을 크게 과소추정하였다. 영과잉 음이항 모형이 AIC가 가장 낮았다(ZINB 1,412.6, NB 1,455.9). 영과잉 부분에서 고령은 구조적 0의 오즈를 높였고(OR = 1.34, 95% CI [1.12, 1.60]), 횟수 부분에서 만성질환 수는 평균 횟수를 높였다(IRR = 1.21, 95% CI [1.09, 1.34]).

0의 비율, 비교한 모형 후보와 선택 기준을 적습니다.
영과잉 부분과 횟수 부분의 설명변수를 각각 무엇으로 했는지, 두 부분에 같은 변수를 넣었다면 그 이유를 밝힙니다.
“구조적 0”이 이론적으로 무엇을 뜻하는지 설명합니다. 이론적 근거 없이 통계 적합만으로 두 집단의 존재를 주장하지 않습니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“특히, 본 연구에서 사용된 우식 유아치 수 자료는 영과잉 자료의 특성과 함께 독립변수 간 다중공선성이 존재한다는 특징이 존재하여 일반적인 가산회귀모형과 더불어 자료의 영과잉 및 다중공선성을 반영한 모형들을 고려하였다.”
우식 유아치 발생에 대한 다양한 통계적 모형에 관한 연구, Journal of The Korean Data Analysis Society, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"응급실 재방문 횟수 자료에서 0회인 사례가 전체의 62%에 달해 과산포 및 영과잉 문제가 확인되었으며, 영과잉 음이항모형(ZINB)을 최종 분석모형으로 채택하였다."

이 문장은 "0인 값이 예상보다 훨씬 많아 일반적인 계수자료 모형이 맞지 않았고, 이를 보정한 특수모형을 사용했다"는 뜻으로, 방문 횟수·발작 횟수·불량품 개수처럼 0이 많이 몰리는 계수자료를 다루는 논문의 통계분석 방법 절에서 자주 등장합니다.

"특정 서식지에서 관찰된 종별 개체수 자료는 미서식 구역으로 인한 구조적 0이 다수 포함되어 있어 영과잉 포아송모형(ZIP)을 적용하였다."

생태학 연구에서 특정 종이 아예 서식하지 않는 지역과 서식하지만 관측되지 않은 지역을 구분해 개체수를 분석할 때 사용된다.

"보험 청구 건수 자료에서 무청구 계약자 비율이 매우 높게 나타나, 계약 특성에 따른 무청구 확률과 청구 건수를 동시에 추정하는 영과잉모형을 구축하였다."

보험통계학에서 아예 사고를 내지 않는 계약자군과 사고를 내지만 해당 기간에 청구가 없었던 계약자군을 구분할 때 사용되는 예시다.

조금 더 깊게 보면

영과잉모형은 두 부분으로 구성됩니다. 하나는 로지스틱 회귀 등을 이용해 "구조적으로 0에 속하는 집단"에 속할 확률을 추정하는 부분이고, 다른 하나는 포아송분포나 음이항분포로 나머지 집단의 계수 값을 모형화하는 부분입니다.

자료에 과산포(분산이 평균보다 큰 현상)까지 함께 존재하는 경우에는 포아송 대신 음이항분포를 쓰는 영과잉 음이항모형(ZINB)이 더 적합할 수 있으며, 어떤 모형이 더 나은지는 AIC·BIC와 같은 적합도 지표나 Vuong 검정 등으로 비교하는 것이 일반적입니다.

주의할 점

0이 많다고 무조건 영과잉모형을 쓰는 것은 아니며, 먼저 일반 일반화선형모형으로 적합해 본 뒤 관측된 0의 비율이 모형이 예측하는 0의 비율보다 유의하게 많은지를 통계적으로 확인하고 나서 적용하는 것이 바람직합니다.

헷갈리기 쉬운 용어

용어	0을 어떻게 다루나
포아송 회귀	평균 = 분산 가정. 0이 많으면 맞지 않음
음이항 회귀	과산포를 허용. 0이 많은 것을 어느 정도 흡수
과산포	분산이 평균보다 큰 현상. 영과잉은 그 원인 중 하나
영과잉모형	0이 구조적 0과 우연한 0 두 곳에서 나온다고 봄
허들모형	0 여부를 한 과정으로, 양수 횟수를 다른 과정으로 따로 모형화

참고 문헌

Lambert, D. (1992). Zero-inflated Poisson regression, with an application to defects in manufacturing. Technometrics, 34(1), 1–14.
Mullahy, J. (1986). Specification and testing of some modified count data models. Journal of Econometrics, 33(3), 341–365.
Cameron, A. C., & Trivedi, P. K. (2013). Regression Analysis of Count Data (2nd ed.). Cambridge University Press.
Zeileis, A., Kleiber, C., & Jackman, S. (2008). Regression models for count data in R. Journal of Statistical Software, 27(8), 1–25.
Wilson, P. (2015). The misuse of the Vuong test for non-nested models to test for zero-inflation. Economics Letters, 127, 51–53.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.