블랙박스 연구 (Black-Box Study)
한 줄 정의: 감정인의 내부 판단 과정은 들여다보지 않고, 입력된 증거 세트에 대한 최종 결론만을 대규모로 수집해 정확도와 오류율을 통계적으로 측정하는 검증 방법입니다.
쉽게 풀면
블랙박스 연구는 기계 내부 구조를 몰라도 입력과 출력만 보고 성능을 평가하는 방식과 비슷합니다. 많은 감정인에게 정답을 아는 비교 세트(예: 지문 쌍)를 대량으로 제공하고, 각자 '일치' 또는 '불일치'라는 결론만 제출하게 합니다. 왜 그런 결론에 이르렀는지 사고 과정은 다루지 않고, 오직 결론이 실제 정답과 얼마나 일치하는지만 통계적으로 집계합니다. 이를 통해 해당 감정 기법이 전체적으로 얼마나 신뢰할 만한지 수치로 파악할 수 있습니다.
왜 중요한가
지문이나 총기흔 비교와 같은 주관적 감정 기법은 오랫동안 개별 감정인의 경험에 의존해왔고 체계적인 오류율 측정이 부족하다는 지적을 받아왔습니다. 블랙박스 연구는 이런 기법의 실제 정확도와 오류율을 실증적으로 제시함으로써 법정에서 증거능력을 판단하는 근거 자료로 활용됩니다.
논문에서는 이렇게 쓰입니다
"대규모 블랙박스 연구(black-box study)를 통해 지문 비교 감정인들의 위양성률과 위음성률을 산출했다."
대규모 실증 데이터로 오류율을 측정한 예입니다.
"본 연구는 기존 블랙박스 연구 결과를 인용하여 해당 감정 기법의 오류율이 무시할 수 없는 수준임을 지적했다."
블랙박스 연구 결과가 기법의 한계를 논의하는 근거로 쓰인 사례입니다.
조금 더 깊게 보면
블랙박스 연구는 위양성률(실제로 다른데 일치라고 판단), 위음성률(실제로 같은데 불일치라고 판단), 무결론 비율 등을 함께 산출하는 것이 일반적입니다. 감정인의 판단 근거까지 분석하는 화이트박스 연구와 대비되는 개념으로, 두 접근은 서로 보완적으로 사용됩니다.
주의할 점
연구에 참여한 감정인 표본이나 사용된 시료의 난이도에 따라 산출된 오류율이 실제 현장과 다를 수 있어, 연구 설계의 대표성을 함께 살펴봐야 합니다.