반사실적정책평가 (Counterfactual Policy Evaluation)
쉽게 풀면
만약 그 정책을 시행하지 않았다면 어떤 결과가 나왔을지를 통계적으로 추정해서, 실제 결과와 비교함으로써 정책이 진짜로 얼마나 효과가 있었는지를 가려내는 평가 방법이다.
왜 중요한가
출산장려금 지급이 실제로 출산율을 높였는지 평가할 때, 정책이 없었다면 어땠을지를 통계적으로 추정해 자연적 추세와 정책효과를 분리하는 데 활용되며 근거기반 인구정책 수립의 핵심 방법론으로 다뤄집니다. 이 접근은 정책이 시행된 집단의 결과를 시행되지 않았을 경우 나타났을 가상의 결과(반사실)와 비교함으로써, 단순히 정책 전후를 비교하는 방식이 놓치는 다른 요인(경기변동, 다른 정책 동시 시행)의 영향을 통제할 수 있다는 점에서 정책효과의 인과적 식별을 가능하게 하는 핵심 방법론이다.
논문에서는 이렇게 쓰입니다
논문에서는 정책 미시행 지역이나 합성된 비교집단을 이용해 반사실적 시나리오를 구성하고, 실제 관측된 결과와의 차이를 정책의 인과효과로 해석하는 데 활용된다.
이 문장은 같은 정책 효과를 추정해도 어떤 통계 방법을 쓰느냐에 따라 숫자가 달라질 수 있어, 한 가지 방법의 결과만으로 결론을 내리면 위험하다는 뜻입니다.
조금 더 깊게 보면
반사실적 결과는 실제로 관측할 수 없는 가상값이므로, 어떤 비교집단이나 통계모형을 선택하느냐에 따라 추정된 정책효과가 크게 달라질 수 있어 방법론 선택 자체가 평가결과의 신뢰성을 좌우하는 중요한 쟁점이 됩니다. 실제 반사실은 관측할 수 없으므로 연구자들은 정책이 적용되지 않은 유사집단(대조군)이나 정책 시행 직전 추세를 연장한 가상경로로 반사실을 근사하는데, 이 근사가 실제 반사실과 얼마나 가까운지에 대한 가정 자체가 검증 불가능하다는 근본적 한계를 지닌다는 점이 방법론 논쟁의 핵심이다.
주의할 점
반사실적 추정치는 관측되지 않는 가상의 값이므로, 어떤 가정과 방법(합성통제법, 이중차분법 등)을 쓰느냐에 따라 추정된 정책효과가 달라질 수 있다.