비동등 통제집단 설계 (Nonequivalent Control Group Design)
쉽게 풀면
진짜 실험이라면 참가자를 동전 던지듯 무작위로 실험집단과 통제집단에 나눠야 두 집단이 애초에 비슷하다고 볼 수 있습니다. 하지만 현실의 연구 현장에서는 이미 만들어져 있는 학급, 병동, 지역을 통째로 실험집단이나 통제집단으로 쓸 수밖에 없는 경우가 많습니다.
이렇게 무작위 배정 없이 기존 집단을 그대로 활용해 사전-사후 비교를 하는 설계를 비동등통제집단설계라고 부릅니다. 이름에 "비동등"이 붙는 이유는 두 집단이 처음부터 완전히 같은 성질을 가진다는 보장이 없기 때문입니다.
왜 중요한가
현실의 교육·의료·정책 현장에서는 윤리적, 행정적 제약으로 무작위 배정이 어려운 경우가 많아, 비동등통제집단설계는 준실험 연구방법론에서 가장 널리 쓰이는 대안 중 하나입니다. 이 설계를 어떻게 보완하느냐(사전검사, 통계적 통제, 매칭 기법 등)는 프로그램 효과성 평가나 정책 개입 연구의 신뢰도를 좌우하는 핵심 쟁점으로 다뤄집니다.
어떤 절차인가
- 기존 집단 두 개를 정합니다: 이미 있는 학급, 병동, 지역 가운데 처치를 받을 쪽(실험집단)과 받지 않을 쪽(비교집단)을 현실적 이유로 정합니다. 참가자를 무작위로 배정하지 않습니다.
- 사전검사: 두 집단 모두에게 결과 변수(와 가능하면 관련 특성)를 처치 전에 측정합니다.
- 처치: 실험집단에만 개입을 실시합니다.
- 사후검사: 두 집단을 같은 방식으로 다시 측정합니다.
- 비교: 사전 점수 차이를 고려하여 사후 점수를 비교합니다.
도식으로는 NR O₁ X O₂ / NR O₁ _ O₂로 씁니다(NR: 무작위 배정 아님, O: 측정, X: 처치). 사전검사가 없는 사후검사 전용 형태는 두 집단이 애초에 같았는지 확인할 수 없어 해석이 훨씬 약합니다(Shadish 등, 2002).
언제 쓰고 무엇을 얻나
- 쓰는 경우: 학교·병원·부서 단위로 개입이 이루어져 개인을 무작위로 나눌 수 없거나, 윤리적·행정적 이유로 무작위 배정이 어려울 때.
- 얻는 것: 처치 전후 변화를 비교집단의 변화와 견주어 볼 수 있어, 단일집단 사전-사후 설계보다 성숙·역사 같은 위협을 줄입니다.
- 한계: 두 집단이 처음부터 다르면 그 차이(선택 비뚤림)가 처치 효과와 섞입니다. 특히 사전 점수가 서로 다른 집단에서 ‘평균으로의 회귀’나 선택-성숙 상호작용이 결과를 왜곡할 수 있습니다.
- 보완책: 사전 점수를 공변량으로 넣는 공분산분석, 성향점수 매칭, 두 집단의 전후 변화량 차이를 보는 이중차분법 등. 다만 이들은 측정한 변수만 보정할 뿐 측정하지 않은 차이는 해결하지 못합니다.
논문에는 이렇게 적는다
- 두 집단을 어떻게 정했는지(편의상 같은 학교의 두 반 등)와 무작위 배정이 아니었음을 분명히 씁니다.
- 사전검사에서 두 집단의 동질성을 검토한 결과(검정 결과뿐 아니라 차이의 크기)를 표로 보입니다.
- 사용한 보정 방법과 그 이유를 적고, 처치 외에 두 집단이 달랐을 수 있는 점(교사, 시기, 환경)을 한계로 논의합니다.
- 인과 표현은 “효과가 있었다”보다 “실험집단에서 더 큰 향상이 관찰되었다”처럼 조심스럽게 씁니다.
문장의 예(가상): “무작위 배정이 불가능하여 같은 학교의 두 학급을 각각 실험집단과 비교집단으로 지정하였으며, 사전 점수의 집단 차이는 공변량으로 통제하였다.”
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 연구자가 새로 집단을 무작위로 구성하지 않고, 이미 존재하던 두 학급을 그대로 비교집단으로 사용했다는 뜻입니다.
의료 현장 연구에서 집단 간 초기 이질성을 통계적으로 보정한 사례를 보여준다.
정책평가 연구에서 지역 단위 비교에도 동일한 설계 논리가 적용됨을 보여준다.
조금 더 깊게 보면
비동등통제집단설계의 대표적 변형으로 사전-사후검사를 모두 실시하는 형태와 사후검사만 실시하는 형태가 있으며, 사전검사가 포함될 경우 집단 간 초기 차이를 통계적으로 보정하는 공분산분석(ANCOVA)이나 성향점수매칭(propensity score matching) 같은 기법이 함께 사용되는 경우가 많습니다. 또한 시간에 따른 변화 양상까지 비교하는 이중차분법(difference-in-differences)과 결합해 선택편향의 영향을 줄이려는 시도도 흔히 관찰됩니다.
주의할 점
두 집단이 처음부터 서로 다른 특성을 가질 수 있다는 선택편향의 위험이 항상 존재합니다. 이를 줄이기 위해 개입 전에 사전검사를 실시해 두 집단의 동질성을 확인하고 사전-사후 변화량을 비교하는 방식이 흔히 쓰이지만, 그래도 무작위 실험만큼의 내적타당도를 확보하기는 어렵습니다.
헷갈리기 쉬운 용어
무작위 배정 여부와 비교집단·사전검사 유무로 구분합니다.
| 용어 | 무작위 배정 | 비교집단 / 사전검사 |
|---|---|---|
| 무작위대조시험 | 있음 | 있음 / 대개 있음 |
| 비동등 통제집단 설계 | 없음 | 있음 / 있음(권장) |
| 단일집단 사전-사후 설계 | 없음 | 없음 / 있음 |
| 이중차분법 | 없음 | 비교집단과 처치 전후 자료를 이용하는 분석 방법 |
참고 문헌
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
- Cook, T. D., & Campbell, D. T. (1979). Quasi-Experimentation: Design and Analysis Issues for Field Settings. Rand McNally.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
- Rosenbaum, P. R., & Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41–55.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.