영향평가 (Impact Evaluation)
쉽게 풀면
정책 때문에 진짜로 무엇이 달라졌는지 원인과 결과를 따져보는 평가예요.
왜 중요한가
정책이 없었다면 어땠을지를 추정하여 정책의 순효과를 분리하는 작업으로, 무작위 통제실험과 준실험 설계(이중차분, 회귀불연속, 성향점수매칭)가 표준 방법입니다. 증거기반 정책 논의의 핵심에 있으며, 개발협력 분야에서는 J-PAL과 3ie를 중심으로 수천 건의 영향평가가 축적되어 정책 채택과 확산의 근거로 쓰입니다. 영향평가에서는 정책의 직접적 산출뿐 아니라 의도하지 않은 부작용까지 함께 살펴야 하며, 단기 효과와 장기 효과가 서로 다르게 나타나는 경우도 흔히 보고된다.
논문에서는 이렇게 쓰입니다
반사실적 추론(counterfactual)을 통한 순효과 측정 방식을 설명한 문장이다.
무작위 배정이 어려운 정책 현장에서 통계적 방법으로 비교집단을 만들어 순효과를 추정하는 절차를 보여준다.
조금 더 깊게 보면
내적 타당성이 높은 설계일수록 특정 맥락에 묶여 다른 지역이나 시기에 같은 효과가 나올지(외적 타당성)를 보장하지 못합니다. 또 평균 효과가 유의하지 않아도 특정 하위집단에서는 효과가 클 수 있고, 평가 시점에 따라 결과가 뒤집힐 수도 있습니다. 영향평가는 효과가 있었는지는 답하지만 왜 그런지는 답하지 않으므로, 프로그램 이론과 과정평가로 보완해야 합니다. 영향평가는 정책이 없었을 경우와 비교하는 반사실적 상황을 설정해야 하므로, 통제집단을 활용한 실험 설계나 준실험 설계 같은 엄격한 방법론이 요구되는 경우가 많다. 영향평가는 정책의 파급 효과가 대상자를 넘어 주변 지역이나 관련 산업으로 확산되는 간접적 영향까지 포괄적으로 다루려 한다.
주의할 점
선택편의 등 내적타당도를 위협하는 요인을 통제하지 못하면 효과를 과대·과소추정할 수 있다.
엄격한 실험 설계는 비용과 시간이 많이 들고 윤리적 문제(대조군에게 혜택을 주지 않는 것)가 제기될 수 있어, 모든 정책에 동일한 방식으로 적용하기는 현실적으로 어렵다. 영향평가 결과는 대상 지역이나 시기의 특수한 여건에 좌우될 수 있어, 다른 맥락에 그대로 일반화하기 전에 유사한 조건에서 반복 검증하는 과정이 필요하다.