무응답편향 (Non-response Bias)
쉽게 풀면
직장인 만족도 설문조사를 이메일로 1000명에게 보냈는데 200명만 응답했다고 해봅시다. 문제는 "누가 응답을 안 했는가"입니다. 만약 회사에 불만이 많아 바쁘거나 무관심한 사람일수록 설문을 무시하고, 만족도가 높은 사람일수록 성실하게 답했다면 어떨까요? 실제 평균 만족도보다 훨씬 높게 나온 결과를 얻게 됩니다. 이렇게 "응답을 안 한 사람들"이 무작위가 아니라 특정 성향을 가진 사람들에게 쏠려 있어서 생기는 왜곡이 무응답편향입니다.
왜 중요한가
설문조사 기반 연구는 대부분 응답률이 100%에 미치지 못하기 때문에, 무응답편향은 서베이 방법론뿐 아니라 사회과학·보건학·마케팅 조사 전반에서 결과의 타당성을 위협하는 대표적 요인으로 다뤄집니다.
특히 온라인조사나 이메일조사처럼 접근성은 좋지만 응답률이 낮아지기 쉬운 조사방식이 늘어나면서, 무응답이 무작위가 아니라 특정 성향과 체계적으로 연관될 가능성을 어떻게 진단하고 보정할 것인지가 조사방법론 연구의 중요한 과제로 남아 있습니다.
이 편향을 제대로 다루지 않으면 표본 자체는 커도 모집단을 대표하지 못하는 결과를 낳을 수 있어, 논문 심사에서도 응답률과 무응답 처리 방식이 자주 확인되는 항목입니다.
핵심 정리
- 무응답편향은 조사 요청을 받고도 응답하지 않은(또는 일부 문항에 응답하지 않은) 사람이 응답한 사람과 다를 때, 응답자만으로 계산한 결과가 모집단의 값에서 벗어나는 것입니다. 대상 전체의 응답 여부(단위 무응답)와 일부 문항 무응답(문항 무응답)을 구분합니다.
- 가장 단순한 결정론적 관계식은 다음과 같습니다. 응답자 평균을 Ȳr, 무응답자 평균을 Ȳm, 무응답 비율을 m이라 하면, 응답자 평균의 편향 ≈ m × (Ȳr − Ȳm) 입니다. 즉 편향은 무응답 비율과 응답자와 무응답자의 차이 둘 모두에 달려 있습니다.
- Groves(2006)는 응답률과 무응답편향의 크기가 약하게만 관련된다고 정리했습니다. 응답률이 낮아도 응답 여부가 관심 변수와 무관하면 편향이 작을 수 있고, 응답률이 높아도 남은 무응답자가 크게 다르면 편향이 있을 수 있습니다.
예시로 보기
가상의 조사입니다. 모집단 10,000명 중 60%(6,000명)는 A유형, 40%(4,000명)는 B유형입니다. “찬성” 비율은 A가 70%, B가 30%입니다. 응답률은 A가 20%, B가 60%입니다.
| 유형 | 모집단 | 응답자 | 응답자 중 찬성 |
|---|---|---|---|
| A | 6,000 | 1,200 | 840 |
| B | 4,000 | 2,400 | 720 |
| 합계 | 10,000 | 3,600(응답률 36%) | 1,560 |
실제 찬성은 (6,000×0.7 + 4,000×0.3) ÷ 10,000 = 54.0%인데, 응답자만 보면 1,560 ÷ 3,600 ≈ 43.3%입니다. 응답하지 않은 6,400명의 찬성은 60%이므로, 편향은 0.64 × (0.433 − 0.600) ≈ −0.107, 즉 약 −10.7%p입니다. 응답률이 36%여서가 아니라 응답 여부가 찬반과 관련된 유형에 달려 있기 때문에 생긴 왜곡입니다. 유형별 응답률을 알면 유형 비율로 가중해 보정할 수 있지만, 모르는 변수로 인한 무응답은 보정되지 않습니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 응답률이 높으면 편향이 없다. | 응답률은 편향의 크기와 약하게 관련됩니다. 남은 무응답자가 응답자와 크게 다르면 높은 응답률에서도 편향이 생깁니다(Groves, 2006). |
| 표본이 크면 무응답편향이 줄어든다. | 표본 크기를 키우면 무작위 오차는 줄지만 체계적 편향은 줄지 않습니다. |
| 가중치를 주면 해결된다. | 사후층화 가중치는 가중에 쓴 변수(연령, 성별 등)와 관련된 편향만 줄입니다. 가중치에 쓰지 않은 요인으로 응답이 갈린다면 남습니다. |
| 응답자와 무응답자의 인구통계가 비슷하면 안전하다. | 인구통계가 같아도 관심 변수의 응답 경향이 다를 수 있습니다. |
| 늦게 응답한 사람은 무응답자와 비슷하다는 가정(웨이브 분석)이 늘 성립한다. | Armstrong과 Overton(1977)의 외삽 방법은 편의적 가정이며, 늦게 응답한 사람이 실제 무응답자와 다를 수 있습니다. |
줄이는 방법으로는 반복 연락과 다양한 응답 방식, 접촉 시점 조정, 무응답자 일부의 추적조사, 외부 통계(인구총조사 등)와 비교, 응답 확률 모형 기반 가중치 등이 있습니다(Groves 등, 2009).
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 응답률이 낮았기 때문에, 응답하지 않은 68%가 응답자와 체계적으로 다를 수 있고 그로 인해 조사 결과가 실제 모집단을 제대로 대표하지 못할 수 있다는 우려를 밝힌 것입니다.
실제 무응답자에게 접근할 수 없을 때, 응답 시점의 차이를 이용해 무응답편향을 간접적으로 추정하는 흔한 분석 전략을 보여준다.
대규모 사회조사에서 외부 기준자료와 표본 구성을 비교해 무응답편향의 방향을 파악하고 통계적으로 보정하는 방식을 보여준다.
조금 더 깊게 보면
무응답편향을 진단하는 대표적 방법으로는 초기 응답자와 후기 응답자를 비교해 후기 응답자가 무응답자에 가깝다고 가정하는 웨이브 분석, 외부 인구통계 자료와 표본 구성을 비교하는 벤치마크 비교, 무응답자 일부를 별도로 추적조사하는 방법 등이 있습니다. 편향이 확인되면 응답자의 특성에 따라 표본에 가중치를 부여해 모집단 구성비를 맞추는 사후층화(post-stratification) 가중치 보정이 자주 사용되며, 이는 완전한 해결책이라기보다 편향을 완화하는 근사적 방법이라는 점을 함께 언급하는 것이 일반적입니다.
주의할 점
무응답편향은 연구가 시작된 후 참여자가 중도에 이탈해서 생기는 탈락편향과는 다릅니다. 무응답편향은 애초에 참여 요청 단계에서부터 응답 자체를 거부하거나 무시한 경우를 가리킵니다. 응답률이 낮을수록 무응답편향의 위험이 커지므로, 후속 연락이나 무응답자 표본 비교 등의 보완 전략이 필요합니다.
헷갈리기 쉬운 용어
표본이 모집단과 어긋나는 이유는 단계마다 다릅니다.
| 용어 | 한 줄 설명 | 생기는 단계 |
|---|---|---|
| 무응답편향 | 조사 요청에 응하지 않은 사람이 달라서 생기는 편향 | 조사 요청 후 응답 단계 |
| 응답률 | 요청 대비 응답 비율 | 편향이 아니라 참여 정도를 나타내는 지표 |
| 탈락편향 | 참여를 시작한 뒤 중도 이탈한 사람이 달라서 생기는 편향 | 추적 관찰 중 |
| 자기선택편향 | 참여 여부를 본인이 정해 생기는 선택편향 | 참여를 자원할 때 |
| 선택편향 | 연구 대상이 모집단을 대표하지 못하는 일반적 문제 | 표본 선정 전반 |
참고 문헌
- Armstrong, J. S., & Overton, T. S. (1977). Estimating nonresponse bias in mail surveys. Journal of Marketing Research, 14(3), 396–402.
- Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646–675.
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (2nd ed.). Wiley.
- Lessler, J. T., & Kalsbeek, W. D. (1992). Nonsampling Error in Surveys. Wiley.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.