반사실적분석 (Counterfactual Analysis)
쉽게 풀면
반사실적분석은 '이 사업을 안 했다면 어떻게 됐을까'라는 가상의 상황을 과학적으로 추정해서, 실제로 일어난 일과 비교하는 방법입니다. 이렇게 해야 관찰된 변화 중 정말로 사업 덕분에 생긴 부분이 얼마인지를 가려낼 수 있습니다.
왜 중요한가
사업 지역의 상황이 좋아졌다고 해서 그것이 반드시 사업의 효과라고 단정할 수 없기 때문에, 반사실적분석은 상관관계와 인과관계를 구분하는 엄밀한 영향평가의 핵심 원리로서 개발협력 분야 근거기반 정책의 토대가 되기 때문입니다.
어떤 절차인가
- 평가 질문을 정합니다. “이 사업이 없었다면 참여자의 결과는 어땠을까?”
- 관측되지 않는 반사실 결과를 추정할 비교집단을 마련합니다. 무작위 배정, 사업 전후 비교집단 설계, 매칭 등이 있습니다.
- 사업 집단의 실제 결과와 반사실 추정치의 차이를 효과로 해석하고, 불확실성(신뢰구간)과 가정을 함께 제시합니다.
이론적 틀은 잠재결과(potential outcomes)입니다. 한 사람에 대해 처치를 받았을 때와 받지 않았을 때의 결과를 모두 생각할 수 있지만 현실에서는 한쪽만 관측되기 때문에, 반사실은 항상 추정입니다.
언제 쓰고 무엇을 얻나
가상의 예: 직업훈련 사업의 소득 효과를 이중차분법으로 추정합니다. 훈련 집단의 평균 월소득이 사업 전 50, 사업 후 62이고, 비교집단은 48에서 54로 올랐다고 합시다.
| 구분 | 사업 전 | 사업 후 | 변화 |
|---|---|---|---|
| 훈련 집단 | 50 | 62 | +12 |
| 비교집단 | 48 | 54 | +6 |
사업 효과의 추정치는 (62 − 50) − (54 − 48) = 6입니다. 단순 전후 비교는 +12지만, 사업이 없어도 소득이 평균 6 정도 늘었을 것(반사실)이라고 추정하므로 효과는 그 절반입니다. 이 추정은 “사업이 없었다면 두 집단의 변화가 같았을 것”이라는 평행추세 가정이 맞을 때만 성립합니다.
논문에는 이렇게 적는다
- 비교집단을 어떻게 만들었는지, 그 선택이 왜 타당한지를 가장 먼저 적습니다.
- 핵심 가정(평행추세, 선택 편의가 관측 변수로 통제된다는 가정 등)과 이를 점검한 방법(사전 추세 비교, 균형 점검)을 밝힙니다.
- 표기 예: “반사실 결과는 성향점수로 매칭한 비교집단의 사후 소득으로 추정하였다. 처치 집단의 평균 처치효과는 6.0(95% CI …)이었다.”
- 인과 효과의 외적 타당도(다른 지역에도 같은가)는 별도로 논의합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
반사실적분석의 실행 방법을 설명한 예문입니다.
반사실적분석 기법의 적용 사례를 다룬 연구 예시입니다.
조금 더 깊게 보면
반사실적분석은 무작위대조시험 외에도 성향점수매칭, 이중차분법, 회귀불연속설계 등 다양한 준실험적 방법을 통해 수행될 수 있으며, 어떤 방법을 선택하느냐에 따라 요구되는 자료와 가정이 달라집니다.
반사실 분석은 사업 대상이 되지 않았다면 어떤 결과가 나타났을지를 추정해 실제 관찰된 결과와 비교함으로써 사업의 순수한 인과적 효과를 분리해내는 접근으로, 무작위대조시험(RCT), 이중차분법(DID), 성향점수매칭(PSM) 등 다양한 준실험적 기법으로 반사실 상황을 근사합니다.
반사실적 분석은 사업에 참여하지 않았다면 나타났을 상태를 추정해 실제 관찰된 결과와 비교함으로써 순수한 사업 효과를 분리해내는 방법으로, 무작위대조시험, 성향점수매칭, 이중차분법 등이 대표적인 추정 기법으로 쓰입니다. 개발협력 평가에서 상관관계와 인과관계를 구분하기 위한 핵심 도구로 다뤄집니다.
무작위 배정이 어려운 현장 여건에서는 사업 대상 지역과 특성이 유사한 비대상 지역을 비교집단으로 구성하는 준실험설계가 대안으로 활용됩니다.
성향점수매칭은 개입에 참여한 집단과 관찰된 특성이 유사한 비참여 집단을 통계적으로 짝지어 비교집단을 구성하는 방법으로, 무작위 배정이 어려운 현장 사업의 반사실 상황을 근사하는 대표적인 준실험 기법으로 널리 쓰입니다.
주의할 점
반사실적분석에 필요한 대조군 구성이나 정교한 통계기법은 상당한 자료와 전문성, 비용을 요구하므로, 소규모 사업에서는 실행 가능성을 신중히 검토해야 합니다.
적절한 비교집단을 구성하기 어려운 현실 여건에서는 반사실 추정에 편향이 개입될 위험이 커, 기법 선택에 따라 같은 사업이라도 추정된 효과 크기가 상당히 달라질 수 있다는 점에 유의해야 합니다. 최근에는 실험이 불가능한 대규모 정책의 경우 여러 국가나 지역의 데이터를 결합한 합성통제법(synthetic control method)도 반사실 추정 기법으로 활용됩니다. 인과관계를 엄밀히 규명할 수 있다는 장점이 있지만, 설계와 실행에 상당한 시간과 비용이 소요되어 모든 사업에 적용하기는 현실적으로 어렵습니다. 따라서 소규모 시범사업 단계에서 엄밀한 반사실 분석을 수행하고 이를 확대 적용 여부의 근거로 삼는 방식이 흔히 권장됩니다. 반사실적 상태는 실제로 관찰할 수 없는 가상의 상황이므로, 비교집단 설정 방법에 따라 추정 결과가 달라질 수 있어 방법론 선택 자체가 분석의 신뢰성을 좌우합니다. 준실험적 방법으로 구성한 비교집단은 관측되지 않은 요인에서 개입집단과 체계적으로 다를 위험을 완전히 배제할 수 없어, 무작위대조시험만큼 인과관계를 엄밀하게 보장하지는 못합니다.
헷갈리기 쉬운 용어
반사실을 추정하는 방법은 여러 가지입니다.
| 방법 | 비교집단을 만드는 방식 | 핵심 가정 |
|---|---|---|
| 무작위대조시험 | 무작위 배정 | 배정이 무작위로 이루어짐 |
| 이중차분법 | 사업을 받지 않은 집단의 변화를 반사실로 사용 | 평행추세 |
| 성향점수매칭 | 처치 확률이 비슷한 사람끼리 짝지음 | 관측 변수로 선택 편의를 통제 |
참고 문헌
- Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688–701.
- Holland, P. W. (1986). Statistics and causal inference. Journal of the American Statistical Association, 81(396), 945–960.
- Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2016). Impact Evaluation in Practice (2nd ed.). World Bank.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.