현장실험 (Field Experiment)
쉽게 풀면
실험실 실험은 소음, 조명, 시간대까지 통제된 방에서 사람을 불러다 놓고 실험하기 때문에 변수를 깔끔하게 통제할 수 있지만, "실제 삶과는 다른 인위적인 상황"이라는 한계가 있습니다. 현장실험은 이 인위성을 줄이기 위해 사람들이 실제로 생활하는 공간, 예를 들어 실제 매장, 실제 교실, 실제 이메일함 안에서 실험을 진행합니다. 다만 자연실험과 달리 "무작위 배정"은 연구자가 직접 수행합니다. 예를 들어 실제 온라인 쇼핑몰에서 무작위로 절반의 고객에게만 할인 쿠폰 이메일을 보내고 구매율을 비교하는 식입니다. 실험실의 통제력과 현실 세계의 자연스러움 사이에서 균형을 잡으려는 설계입니다.
왜 중요한가
현장실험은 무작위 배정이라는 실험실 실험의 인과추론 강점을 유지하면서도, 실제 삶의 맥락에서 개입 효과를 확인할 수 있어 경제학, 정책학, 조직행동 연구에서 정책 설계의 근거로 널리 채택됩니다. 특히 온라인 플랫폼이 대규모 사용자를 대상으로 손쉽게 조건을 나눌 수 있게 되면서, 마케팅·행동경제학 논문에서 실제 소비자 행동에 개입이 미치는 효과를 검증하는 표준적인 방법으로 자리 잡았습니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 실험실이 아니라 실제로 영업 중인 매장들을 무작위로 나누어, 실제 소비자의 행동 변화를 관찰했다는 뜻입니다.
실험실이 아니라 실제 학교 수업이라는 환경에서, 학급 단위로 무작위 배정을 진행해 교육 개입의 효과를 검증했다는 의미로 교육학 논문에서 자주 나오는 서술입니다.
실제 노동시장이라는 자연스러운 환경 속에서 개입(이력서 첨삭)의 효과를 무작위 배정으로 검증한 것으로, 노동경제학이나 정책평가 연구에서 흔히 사용되는 설계입니다.
조금 더 깊게 보면
현장실험은 개입의 대상을 개인 단위로 무작위 배정할지, 매장이나 학급 같은 집단 단위로 배정할지에 따라 분석 방법이 달라지는데, 집단 단위로 배정하는 경우(군집 무작위배정, cluster randomization)에는 같은 집단 내 참여자들의 반응이 서로 독립적이지 않다는 점을 통계적으로 보정해야 합니다. 또한 현실 환경에서는 처치군과 대조군이 서로 영향을 주고받는 파급효과(spillover effect)가 발생할 수 있어, 논문에서는 이를 통제하기 위한 설계(예: 지리적으로 분리된 배정)를 함께 설명하는 경우가 많습니다.
주의할 점
현장실험은 생태학적 타당도가 높은 대신, 현실 환경에서는 통제하기 어려운 변수(날씨, 경쟁 매장의 이벤트 등)가 결과에 섞여 들어갈 위험이 있습니다. 또한 참여자가 관찰되고 있다는 사실을 알고 행동을 바꾸는 호손 효과가 실험실보다는 적지만 여전히 존재할 수 있습니다.