메타평가 (Meta-Evaluation)
쉽게 풀면
평가를 잘했는지 다시 한번 검토하는, 평가의 평가예요.
왜 중요한가
정부가 수행하는 평가의 수가 늘어나면서 평가 자체의 품질을 검증할 필요가 생겼고, 스크리븐(Scriven)이 정식화한 메타평가는 평가의 타당성, 신뢰성, 유용성을 점검하는 표준 절차가 되었습니다. 평가 결과가 예산 배분에 연계되는 체계에서는 평가 품질이 재정 결정을 좌우하므로, 감사기구나 상위 평가기관이 메타평가를 수행합니다. 메타평가는 여러 기관에서 수행한 개별 평가들의 품질 편차가 클 때, 그 결과를 종합해 정책 결정에 활용하기 전에 신뢰할 만한 평가를 선별하는 여과 기능을 수행한다.
논문에서는 이렇게 쓰입니다
메타평가가 평가방법론의 질을 점검하는 절차임을 설명한 문장이다.
이 문장은 메타평가가 실제로 여러 정책평가 보고서를 모아 방법론적 결함을 체계적으로 찾아내는 구체적인 방식을 보여줍니다. 앞의 예문이 메타평가의 목적을 일반적으로 설명했다면, 이 문장은 실제 진단에서 무엇이 문제로 지적되는지(비교집단 부재)를 구체적으로 보여준다는 점에서 다른 연구 단계를 보여줍니다.
조금 더 깊게 보면
메타평가는 개별 평가의 품질 점검을 넘어 평가 체계 전체의 설계 문제(평가 과잉, 지표 중복, 피평가자 부담)를 드러낼 수 있지만, 실무에서는 체크리스트 점검에 머무르는 경우가 많습니다. 또 여러 평가 결과를 통합하는 메타분석과 이름이 비슷해 혼동되지만, 메타분석은 결과의 종합이고 메타평가는 평가 과정의 질 판정이라는 점에서 다릅니다. 메타평가는 개별 평가의 결과를 다시 종합하는 데 그치지 않고, 평가 설계와 방법론 자체의 타당성과 신뢰성을 점검하는 평가에 대한 평가라는 점에서 다른 평가 유형과 구분된다. 메타평가는 여러 개별 평가에서 반복적으로 나타나는 방법론적 오류나 편향을 확인하여, 향후 평가 설계의 개선 방향을 제시하는 데도 활용된다.
주의할 점
개별 정책의 효과를 재평가하는 것이 아니라 평가 자체의 품질을 검토하는 것이라는 점에 유의해야 한다.
메타평가는 원 평가 자료에 대한 접근이 제한되면 수행 자체가 어려워지므로, 평가 결과와 방법론이 투명하게 공개되어야 한다는 전제 조건이 필요하다.