탈락률 (Fallout)
쉽게 풀면
관련 없는 자료 중에서 시스템이 실수로 얼마나 많이 걸러내지 못하고 결과에 포함시켰는지를 보여주는 지표이다.
왜 중요한가
탈락률은 비적합 문헌 가운데 검색된 비율로, 검색 시스템이 잡음을 얼마나 걸러내지 못하는지를 정밀도와 다른 각도에서 보여 줍니다. 컬렉션 크기가 달라도 시스템 간 비교가 가능하다는 점에서 초기 IR 평가 이론에서 재현율과 짝을 이루는 지표로 제안되었습니다. 오검색 자체를 줄이는 것이 목표인 스팸 필터링 같은 응용에서는 폴아웃에 준하는 오탐지율 지표가 핵심 성능 척도로 쓰인다. 재현율과 폴아웃을 함께 보고하면 시스템이 관련문헌을 많이 찾는 대신 비관련문헌도 함께 늘리는 절충을 하고 있는지 파악할 수 있다.
논문에서는 이렇게 쓰입니다
재현율을 높이는 기법이 동시에 비관련 문헌 검색(탈락률)도 늘릴 수 있다는 상충관계를 설명하는 문장이다.
이 문장은 재현율을 높이려는 기법이 동시에 잡음도 함께 늘릴 수 있다는 상충 관계를, 적용 전후의 탈락률 비교를 통해 보여줍니다.
조금 더 깊게 보면
실제 컬렉션에서 비적합 문헌은 압도적으로 많아 탈락률 값이 매우 작아지고 변별력이 떨어지므로, 오늘날 실험에서는 거의 보고되지 않고 정밀도·재현율·F측정치가 대신 쓰입니다. 신호탐지 이론의 오경보율과 개념적으로 같아 ROC 분석과 연결할 때 다시 등장합니다. 폴아웃은 전체 비관련문헌 중 검색된 비관련문헌의 비율로, 재현율의 상대 개념인 정확률과 달리 오검색을 얼마나 억제했는지를 직접 측정하는 지표다. 재현율과 폴아웃을 함께 그린 곡선은 신호탐지이론의 ROC 곡선과 유사한 방식으로 시스템 성능을 시각화한다. 정보검색 평가에서보다는 신호탐지이론이나 분류 성능 평가 전반에서 더 자주 쓰이는 개념이다.
주의할 점
탈락률은 전체 비관련 문헌 수를 분모로 하므로 컬렉션 규모가 매우 클 경우 그 값이 매우 작게 산출되어 변별력이 떨어질 수 있다. 비관련문헌 전체 집합의 크기 역시 정확히 알기 어려운 경우가 많아, 실무에서는 재현율·정확률에 비해 상대적으로 덜 쓰인다는 점에 유의해야 한다.