서베이실험 (Survey Experiment)

한 줄 정의: 설문조사 안에 무작위로 배정한 실험적 조작(문구·정보·순서 등)을 심어 넣어, 응답자 간 반응 차이로 인과관계를 알아보는 조사설계입니다.

쉽게 풀면

보통의 설문조사는 "왜 그런 답을 했는지" 인과관계를 밝히기 어렵습니다. 응답이 다르게 나와도 그 이유가 조사 문항 때문인지, 응답자 개인 특성 때문인지 구분할 수 없기 때문입니다. 서베이실험은 이 문제를 해결하기 위해 응답자를 무작위로 여러 그룹으로 나눈 뒤, 그룹마다 질문의 문구나 함께 제시되는 정보를 조금씩 다르게 줍니다. 예를 들어 한 그룹에는 정책의 "비용"을 강조한 문장을, 다른 그룹에는 "편익"을 강조한 문장을 보여주고 지지도를 비교하는 식입니다. 무작위 배정 덕분에 실험실 실험처럼 인과추론이 가능하면서도, 대규모 설문조사처럼 대표성 있는 표본을 쓸 수 있다는 것이 가장 큰 장점입니다.

왜 중요한가

서베이실험은 실험실 실험의 인과추론 장점과 대표성 있는 표본조사의 장점을 결합할 수 있어, 정치학·사회학·행동경제학처럼 태도와 여론 형성 메커니즘을 다루는 분야에서 널리 쓰이는 방법론입니다. 온라인 패널 조사가 보편화되면서 대규모 표본을 대상으로 한 서베이실험 수행 비용이 낮아진 것도 이 방법이 최근 논문에서 자주 등장하는 배경입니다.

논문에서는 이렇게 쓰입니다

"응답자를 무작위로 두 집단에 배정하여 한 집단에는 정책의 비용 정보를, 다른 집단에는 편익 정보를 제시한 후 정책 지지도를 비교하는 서베이실험을 실시했다."

이 문장은 설문 문항 자체를 실험 조작으로 사용해, 정보 제시 방식이 응답자의 태도에 미치는 인과적 영향을 확인했다는 뜻입니다.

"응답자에게 후보자의 프로필을 여러 속성 조합으로 무작위 제시하고 선호도를 평가하게 하는 컨조인트 서베이실험을 통해 유권자가 중시하는 후보자 특성을 추정하였다."

정치학 연구에서는 여러 속성을 동시에 무작위로 조합해 제시하는 컨조인트(conjoint) 설계를 활용해, 유권자가 어떤 요인을 상대적으로 더 중요하게 여기는지를 분석하기도 합니다.

"채용 공고에 제시된 지원자 이름을 무작위로 다르게 배정한 서베이실험을 통해 이름에서 드러나는 인구학적 단서가 채용 담당자의 평가에 미치는 영향을 검증하였다."

사회학이나 노동경제학에서는 이름, 사진 등 인구학적 단서를 무작위로 바꿔 제시하는 방식으로 암묵적 편향이나 차별을 측정하는 데 서베이실험을 활용합니다.

조금 더 깊게 보면

서베이실험의 대표적인 세부 유형으로는 두 개 이상의 문구나 조건 중 하나를 무작위로 제시하는 문구실험(framing/wording experiment), 여러 속성을 동시에 조합해 제시하는 컨조인트 설계, 민감한 질문에 대한 답변을 은폐된 방식으로 유도하는 목록실험(list experiment) 등이 있습니다. 각 설계는 확인하고자 하는 인과관계의 성격과 다루는 주제의 민감도에 따라 선택되며, 분석 시에는 처치집단 간 평균 차이를 비교하는 것이 기본이지만 하위집단별 이질적 효과를 추가로 검토하는 경우도 많습니다.

주의할 점

무작위 배정이 실제로 균형 있게 이뤄졌는지, 그리고 딱 하나의 조작만 바뀌고 나머지 조건은 동일하게 유지됐는지(조작 확인)를 반드시 검증해야 합니다. 또한 설문이라는 인위적인 환경에서 얻은 반응이 실제 현실의 행동과 얼마나 일치하는지는 별개의 문제이므로, 외적타당도에 대한 논의가 함께 필요합니다.