목록 실험 (List Experiment)
한 줄 정의: 민감한 항목을 일반 항목 목록에 섞어 해당하는 개수만 답하게 해, 개인 응답을 숨긴 채 집단의 비율을 추정하는 설문 기법입니다.
쉽게 풀면
응답자를 무작위로 두 집단으로 나눠, 한 집단에는 일반적인 항목 4개를, 다른 집단에는 같은 4개에 민감한 항목 1개를 더한 목록을 보여 줍니다. 둘 다 '이 중 몇 개에 해당하는지'만 답하게 하면, 두 집단 평균 개수의 차이가 곧 민감한 항목에 해당하는 사람의 비율 추정치가 됩니다. 개인이 무엇에 해당했는지는 드러나지 않습니다.
왜 중요한가
투표 매수, 인종적 편견, 불법 행위처럼 솔직하게 답하기 어려운 주제에서 사회적 바람직성 편향을 줄이는 방법으로 정치학, 사회학, 공중보건 조사에서 널리 쓰입니다. 직접 질문 결과와 비교해 과소보고의 크기를 보여 주는 연구도 많습니다.
논문에서는 이렇게 쓰입니다
"목록 실험으로 추정한 선거 기간 금품 제공 경험 비율은 12.4%로, 직접 질문의 응답률(3.1%)보다 유의하게 높았다."
응답을 숨겨 주자 직접 물었을 때보다 훨씬 많은 사람이 경험을 드러냈다는 뜻입니다.
조금 더 깊게 보면
기본 추정은 평균 차이로 간단하지만 표본이 커야 정밀도가 확보되며, 다변량 회귀로 어떤 특성의 사람이 민감한 항목에 해당하는지 분석하는 방법도 개발되었습니다. 모든 일반 항목에 해당하거나 하나도 해당하지 않으면 민감 항목 여부가 드러나므로(천장·바닥 효과), 일반 항목끼리 음의 상관을 갖도록 구성하는 것이 권장됩니다. 민감 항목을 추가해도 일반 항목 응답이 바뀌지 않는다는 '설계 효과 없음' 가정이 필요합니다.
주의할 점
기존 항목 무작위응답기법이 확률 장치로 응답을 숨긴다면, 목록 실험은 개수만 답하게 해 숨긴다는 점이 다릅니다. 정밀도가 낮아 신뢰구간이 넓게 나오기 쉬우므로 작은 표본에서는 결론을 조심해야 합니다.