정책효과성평가 (Policy Effectiveness Evaluation)
쉽게 풀면
어떤 교육 정책이 실제로 원하는 결과를 냈는지 원인과 결과를 따져 보는 평가이다. 예를 들어 정책을 시행한 지역과 시행하지 않은 지역의 학업성취도 변화를 비교해 정책의 순수한 효과만 가려내는 것이 정책효과성평가의 방법이다.
왜 중요한가
정책학과 교육행정학에서 인과추론 방법론(이중차분법, 회귀불연속설계 등)을 적용하는 대표적 영역으로 다뤄지며, 근거기반 정책결정 논의와 연결된다. 정책효과성평가는 정책이 없었을 경우와 비교한 반사실적(counterfactual) 효과를 추정하는 것을 핵심으로 삼으며, 교육정책평가가 교육정책에 대한 평가 활동 전반을 가리키는 넓은 개념이라면 정책효과성평가는 그 가운데 정책의 인과적 효과를 규명하는 데 초점을 둔 평가 방식을 지칭한다는 점에서 구분된다.
논문에서는 이렇게 쓰입니다
교육정책평가의 하위 방법론으로 준실험설계, 회귀불연속설계 등 인과추론 기법이 활발히 적용되는 연구 분야이다.
제도 도입 기준점 전후를 비교하는 회귀불연속설계로 정책의 순수 효과를 추정한 연구이다.
조금 더 깊게 보면
정책효과성평가는 단순한 상관관계가 아니라 인과관계를 규명하려는 시도이므로, 정책 시행 전후의 단순 비교만으로는 다른 요인의 영향을 배제하기 어렵다는 방법론적 한계를 항상 고려해야 한다. 성향점수매칭(PSM), 회귀불연속설계(RDD), 도구변수법 등이 대표적 분석 기법으로 쓰이며, 어떤 기법을 선택하느냐에 따라 동일한 정책이라도 추정된 효과 크기가 달라질 수 있어 여러 기법을 병행해 결과의 강건성(robustness)을 확인하는 것이 권장된다. 정책 시행 이전 시기의 추세를 비교집단과 대조하는 사전 평행 추세 검정은 이중차분법을 적용하기 위한 필수 전제 조건으로, 이를 생략한 분석은 결과의 타당성을 의심받을 수 있다. 정책 효과의 크기뿐 아니라 어떤 학생 집단에서 효과가 더 크게 나타나는지 살펴보는 이질적 효과 분석도 함께 이루어진다.
주의할 점
정책 효과의 인과관계를 명확히 규명하려면 정책 도입 이전과 이후, 정책 대상과 비대상 집단의 비교가 엄밀하게 설계되어야 한다.
표본 크기가 작거나 정책 대상 선정이 무작위가 아닌 경우 추정된 효과가 선택편의(selection bias)로 왜곡될 수 있어, 분석에 앞서 정책 대상 선정 방식을 면밀히 검토하는 것이 결과 해석의 전제 조건이 된다.