준실험설계 (Quasi-Experimental Design)
쉽게 풀면
신약의 효과를 보려면 원래는 동전을 던지듯 무작위로 환자를 두 그룹에 나눠야 합니다. 하지만 현실에서는 이미 특정 정책을 시행한 지역과 시행하지 않은 지역처럼, 무작위로 나눌 수 없는 상황이 훨씬 많습니다.
이럴 때 이미 존재하는 두 집단(정책을 받은 곳과 받지 않은 곳)을 최대한 비슷한 조건끼리 맞춰 비교하는 것이 준실험설계입니다. 무작위 배정이라는 "완벽한 저울"은 없지만, 현실적인 제약 속에서 최대한 공정하게 비교해보려는 절충안인 셈입니다.
왜 중요한가
정책 평가, 교육 개입, 공중보건 프로그램처럼 윤리적·현실적 이유로 무작위 배정이 불가능한 연구 상황이 매우 흔하기 때문에, 준실험설계는 인과관계를 추정하는 대안적 방법론으로 사회과학과 정책학, 보건학 전반에서 폭넓게 쓰입니다. 무작위대조시험만큼 인과적 결론이 강하지는 않지만, 실제 현장 데이터를 활용해 개입의 효과를 검증할 수 있다는 점에서 실증연구의 중요한 축을 이룹니다.
어떤 절차인가
- 비교 가능한 집단을 정합니다: 무작위 배정이 어려워 이미 처치를 받은 집단과 받지 않은 집단(또는 시점)을 이용합니다.
- 설계 유형을 고릅니다: 대표적으로 비동등 통제집단 설계, 중단 시계열(처치 전후 여러 시점 관찰), 회귀불연속설계(기준점 전후 비교), 이중차분법 등이 있습니다.
- 측정: 처치 전 자료를 가능한 한 확보합니다. 사전 자료가 있어야 집단의 애초 차이를 가늠할 수 있습니다.
- 분석: 선택 비뚤림을 줄이기 위해 공분산분석, 성향점수 매칭, 도구변수 등을 설계에 맞게 씁니다.
- 타당도 위협 점검: 선택, 역사, 성숙, 평균으로의 회귀 등 대안 설명을 하나씩 따져 봅니다(Shadish 등, 2002).
언제 쓰고 무엇을 얻나
- 쓰는 경우: 정책·교육·보건 프로그램처럼 무작위 배정이 윤리적·실무적으로 어려운 현장. 이미 쌓인 행정 자료로 효과를 볼 때도 많이 쓰입니다.
- 얻는 것: 현실 환경에서의 효과 추정, 외적 타당도가 상대적으로 높을 수 있다는 점.
- 한계: 무작위 배정이 없으므로 처치 외 요인이 집단 차이를 만들었을 가능성을 완전히 배제하지 못합니다. 각 설계가 전제하는 가정(이중차분의 평행추세, 회귀불연속의 기준점 부근 비교가능성 등)이 맞는지가 결론의 설득력을 좌우합니다.
- 관찰 자료에서도 설계를 잘 짜면 무작위 실험에 가까운 추정이 가능하다는 연구가 있으나, 그 조건이 충족되어야 합니다(Cook, Shadish, & Wong, 2008).
논문에는 이렇게 적는다
- 무작위 배정이 없었음을 명시하고 준실험설계의 구체적 유형(예: 비동등 통제집단 사전-사후 설계)을 씁니다.
- 집단을 정한 기준과, 처치 전 집단 특성의 비교를 보입니다.
- 선택 비뚤림에 대한 대응(매칭, 공변량 통제, 민감도 분석)과 그 가정을 적습니다.
- 보고 지침으로 TREND(비무작위 설계 중재 연구)가 있습니다(Des Jarlais 등, 2004).
문장의 예(가상): “무작위 배정이 불가능하여 준실험설계(비동등 대조군 사전-사후 설계)를 적용하였다.”
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“준실험연구 방법이 사용된 연구의 주제는 주로 정책(56.7%)이 절반 이상을 차지하고 있었고 그 외에도 학교 운영이나 개인의 행위(24.3%)에 대한 연구가 수행되었다.”
한국 교육행정학 분야 증거기반 연구 동향 분석:「교육행정학연구」를 중심으로, 교육행정학연구, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
“연구결과, 「교육행정학연구」에서 가장 많이 사용되고 있는 준실험연구방법은 경향점수를 이용한 방법(67.6%)으로 나타났으며, 이중차분법(21.6%)이 그 뒤를 이었다.”
한국 교육행정학 분야 증거기반 연구 동향 분석:「교육행정학연구」를 중심으로, 교육행정학연구, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 무작위 실험이 어려운 현장 연구에서, 이미 형성되어 있던 집단을 이용해 정책이나 처치의 효과를 추정했다는 뜻입니다.
교육 정책 연구에서는 특정 기준점(예: 시험 점수)을 경계로 수혜자와 비수혜자가 나뉘는 상황을 이용해, 그 경계 근처의 두 집단을 비교함으로써 인과효과를 추정한다는 뜻입니다.
노동경제학 연구에서는 정책 시행 전후 시점과 시행 여부 지역을 동시에 비교함으로써, 시간에 따른 공통 추세를 통제하고 정책의 순수한 효과를 추정한다는 것을 보여줍니다.
조금 더 깊게 보면
준실험설계에는 회귀불연속설계, 이중차분법, 도구변수법, 성향점수매칭 등 여러 세부 기법이 있으며, 각각은 선택편향을 줄이기 위해 서로 다른 가정에 의존합니다.
예를 들어 이중차분법은 처치를 받지 않았다면 두 집단이 비슷한 추세로 변했을 것이라는 "평행추세 가정"에 의존하고, 회귀불연속설계는 기준점 근처의 대상자들은 처치 여부를 제외하면 사실상 무작위에 가깝게 비슷하다는 가정에 의존합니다.
논문을 읽을 때는 저자가 어떤 기법을 썼는지와 함께, 그 기법이 전제하는 가정이 해당 연구 맥락에서 얼마나 타당한지를 함께 살펴보는 것이 중요합니다.
주의할 점
준실험설계는 무작위대조시험과 달리 참가자가 무작위로 배정되지 않기 때문에, 두 집단이 처치 여부 외에 다른 특성에서도 애초에 달랐을 가능성(선택편향)을 완전히 배제할 수 없습니다. 그래서 결과를 해석할 때 인과관계를 단정하기보다 신중하게 접근할 필요가 있습니다.
헷갈리기 쉬운 용어
무작위 배정이 없다는 점은 같아도 목적과 구조가 다릅니다.
| 용어 | 특징 | 관계 |
|---|---|---|
| 무작위대조시험 | 무작위 배정으로 집단을 동등하게 만듦 | 비교 기준(황금 표준) |
| 준실험설계 | 무작위 배정 없이 처치 효과를 추정하는 설계의 총칭 | 상위 개념 |
| 관찰연구 | 연구자가 처치를 배정하지 않고 관찰만 함 | 준실험은 연구자가 처치나 시점을 설계에 이용 |
| 이중차분법 | 처치 집단·비교집단의 전후 변화를 비교하는 분석 방법 | 준실험설계에서 쓰이는 기법 |
참고 문헌
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
- Cook, T. D., & Campbell, D. T. (1979). Quasi-Experimentation: Design and Analysis Issues for Field Settings. Rand McNally.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
- Cook, T. D., Shadish, W. R., & Wong, V. C. (2008). Three conditions under which experiments and observational studies produce comparable causal estimates. Journal of Policy Analysis and Management, 27(4), 724–750.
- Des Jarlais, D. C., Lyles, C., Crepaz, N., & the TREND Group (2004). Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: the TREND statement. American Journal of Public Health, 94(3), 361–366.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.