비동등 통제집단 설계 (Nonequivalent Control Group Design)

한 줄 정의: 무작위 배정 없이 이미 존재하는 두 집단을 각각 실험집단과 통제집단으로 삼아 개입 전후를 비교하는 준실험설계입니다.

쉽게 풀면

진짜 실험이라면 참가자를 동전 던지듯 무작위로 실험집단과 통제집단에 나눠야 두 집단이 애초에 비슷하다고 볼 수 있습니다. 하지만 현실의 연구 현장에서는 이미 만들어져 있는 학급, 병동, 지역을 통째로 실험집단이나 통제집단으로 쓸 수밖에 없는 경우가 많습니다. 이렇게 무작위 배정 없이 기존 집단을 그대로 활용해 사전-사후 비교를 하는 설계를 비동등통제집단설계라고 부릅니다. 이름에 "비동등"이 붙는 이유는 두 집단이 처음부터 완전히 같은 성질을 가진다는 보장이 없기 때문입니다.

왜 중요한가

현실의 교육·의료·정책 현장에서는 윤리적, 행정적 제약으로 무작위 배정이 어려운 경우가 많아, 비동등통제집단설계는 준실험 연구방법론에서 가장 널리 쓰이는 대안 중 하나입니다. 이 설계를 어떻게 보완하느냐(사전검사, 통계적 통제, 매칭 기법 등)는 프로그램 효과성 평가나 정책 개입 연구의 신뢰도를 좌우하는 핵심 쟁점으로 다뤄집니다.

논문에서는 이렇게 쓰입니다

"무작위 배정이 불가능한 현장 여건상, 두 개의 기존 학급을 각각 실험집단과 통제집단으로 삼는 비동등통제집단설계를 채택하였다."

이 문장은 연구자가 새로 집단을 무작위로 구성하지 않고, 이미 존재하던 두 학급을 그대로 비교집단으로 사용했다는 뜻입니다.

"두 병동의 환자군을 대상으로 비동등통제집단설계를 적용하였으며, 인구통계학적 변수를 공변량으로 통제하여 집단 간 초기 차이를 보정하였다."

의료 현장 연구에서 집단 간 초기 이질성을 통계적으로 보정한 사례를 보여준다.

"지역 단위로 이미 구성된 두 지자체를 각각 정책 도입 지역과 미도입 지역으로 하여 비동등통제집단설계에 기반한 정책효과 분석을 수행하였다."

정책평가 연구에서 지역 단위 비교에도 동일한 설계 논리가 적용됨을 보여준다.

조금 더 깊게 보면

비동등통제집단설계의 대표적 변형으로 사전-사후검사를 모두 실시하는 형태와 사후검사만 실시하는 형태가 있으며, 사전검사가 포함될 경우 집단 간 초기 차이를 통계적으로 보정하는 공분산분석(ANCOVA)이나 성향점수매칭(propensity score matching) 같은 기법이 함께 사용되는 경우가 많습니다. 또한 시간에 따른 변화 양상까지 비교하는 이중차분법(difference-in-differences)과 결합해 선택편향의 영향을 줄이려는 시도도 흔히 관찰됩니다.

주의할 점

두 집단이 처음부터 서로 다른 특성을 가질 수 있다는 선택편향의 위험이 항상 존재합니다. 이를 줄이기 위해 개입 전에 사전검사를 실시해 두 집단의 동질성을 확인하고 사전-사후 변화량을 비교하는 방식이 흔히 쓰이지만, 그래도 무작위 실험만큼의 내적타당도를 확보하기는 어렵습니다.