요인 설문 실험 (Factorial Survey Experiment)

한 줄 정의: 여러 요인의 수준을 무작위로 조합한 가상 상황(비네트)을 응답자에게 제시해 각 요인이 판단에 주는 영향을 추정하는 설문 실험입니다.

쉽게 풀면

예를 들어 '어떤 사람의 임금이 공정한가'를 묻는다고 해 봅시다. 성별, 학력, 경력, 직업 같은 요인을 조금씩 바꾼 여러 인물 설명을 만들어 응답자마다 몇 개씩 무작위로 보여 주고 평가하게 합니다. 그러면 사람들이 어떤 요인에 얼마만큼 무게를 두고 판단하는지를 통계적으로 분리해 낼 수 있습니다.

왜 중요한가

직접 물으면 사회적으로 바람직한 답이 나오기 쉬운 공정성, 차별, 규범 판단을 간접적으로 측정할 수 있어 사회학·정책학·보건학에서 많이 쓰입니다. 여러 요인의 효과를 한 번에 추정할 수 있다는 점도 장점입니다.

논문에서는 이렇게 쓰입니다

"요인 설문 실험을 통해 지원자의 성별과 연령이 채용 적합성 평가에 미치는 독립적 효과를 추정하였다."

여러 요인의 영향을 분리하는 설계의 목적을 보여 줍니다.

"응답자 1인당 8개의 비네트를 무작위로 배정하였으며, 비네트가 응답자에 내포된 구조를 고려해 다수준모형으로 분석하였다."

한 응답자가 여러 비네트를 평가하는 자료 구조를 반영한 분석입니다.

조금 더 깊게 보면

요인 설문은 사회학자 Peter Rossi가 1970년대에 사회적 판단을 연구하기 위해 체계화한 방법으로 알려져 있습니다. 각 비네트는 여러 차원(요인)과 수준의 조합이며, 전체 조합 수가 많으면 부분요인설계 등을 이용해 일부 조합만 뽑아 씁니다. 한 응답자가 여러 비네트를 평가하므로 자료는 비네트가 응답자 안에 묶인 다수준 구조가 되고, 이를 다수준모형이나 군집 보정 표준오차로 분석합니다. 컨조인트 분석과 논리가 비슷하지만, 요인 설문은 대개 서술형 비네트에 대한 평정을 받는다는 점이 다릅니다.

주의할 점

비네트기법은 가상 상황을 제시하는 방법 전반이고 서베이실험은 설문 안에서 처치를 무작위 배정하는 실험 전반입니다. 요인 설문 실험은 비네트의 여러 요인을 체계적으로 무작위 조합하는 그 특정 형태입니다. 가상 상황의 판단이 실제 행동과 같다고 단정하면 안 됩니다.