기여도분석 (Contribution Analysis)
쉽게 풀면
형사가 사건을 재구성하는 장면을 떠올려 봅시다. 실험을 다시 해 볼 수 없으니, 형사는 시간 순서와 목격담, 통화 기록을 모아 하나의 설명을 세우고 그 설명과 어긋나는 단서가 없는지 뒤집니다. 기여도분석도 같습니다. 법 개정이나 공무원 교육처럼 비교집단을 만들 수 없는 사업에서, 사업이 어떤 경로로 결과에 닿았는지 이야기를 세우고 각 고리마다 증거가 있는지, 다른 원인으로 설명되지는 않는지 하나씩 확인합니다.
왜 중요한가
무작위 배정이 불가능하거나 윤리적으로 부적절한 정책, 거버넌스, 옹호 사업에서 인과 주장을 다룰 수 있게 해 주기 때문입니다. 개발분야무작위대조시험이 답하지 못하는 영역을 메우는 방법으로 평가 문헌에서 자리 잡았습니다.
논문에서는 이렇게 쓰입니다
투입에서 결과에 이르는 경로를 여러 단계로 쪼갠 뒤 단계마다 뒷받침하는 자료가 얼마나 튼튼한지를 나누어 매긴 평가 설계로, 약한 고리를 드러내는 데 쓰입니다.
관찰된 변화가 사업이 아니라 외부 요인 때문일 가능성을 따로 검토했지만 변화가 나타난 시기와 맞지 않아 배제했다는 반증 검토 과정을 서술한 문장입니다.
평가자가 세운 인과 설명을 현장 관계자에게 직접 검증받아 빠져 있던 반대 근거를 채워 넣었다는 뜻으로, 확증편향을 줄이기 위한 절차적 장치에 해당합니다.
조금 더 깊게 보면
이 방법은 메인이 정리한 여섯 단계로 진행됩니다. 인과 질문을 명확히 하고, 변화이론과 위험요인을 함께 제시하며, 기존 증거를 모아 초기 기여 이야기를 세우고, 반증과 경쟁 설명을 적극적으로 탐색한 뒤, 추가 자료로 이야기를 보강해 최종 주장을 내놓습니다. 목표는 결과의 몇 퍼센트가 사업 덕분인지 계산하는 귀속이 아니라, 사업이 기여했다는 주장이 합리적인지를 판정하는 데 있습니다. 과정추적이나 현실주의 평가와 결합해 쓰이는 경우가 많습니다.
주의할 점
반사실적 접근을 대체하는 방법이 아니라 보완하는 방법입니다. 효과 크기를 수치로 요구하는 자리에 이 결과를 그대로 내놓으면 곤란합니다. 또 반증 탐색을 소홀히 하면 사업을 좋게 포장한 이야기로 흐르기 쉬워, 경쟁 설명 검토가 방법의 성패를 가릅니다.