평균정밀도 (Average Precision)
쉽게 풀면
관련 있는 자료가 나올 때마다 그 지점까지의 정확도를 기록해서 평균 낸 값으로, 순위가 높을수록 점수가 잘 나오게 만든 지표이다.
왜 중요한가
검색 결과의 순위를 고려하지 않는 정밀도·재현율만으로는 상위에 좋은 문헌을 올린 시스템을 구별하기 어렵지만, 평균정밀도는 적합 문헌이 등장하는 각 지점의 정밀도를 평균해 순위 품질을 한 숫자로 요약합니다. 질의별 AP를 다시 평균한 MAP가 IR 실험의 표준 지표로 오래 쓰였습니다. 그래프로 그리면 재현율-정확률 곡선 아래의 면적에 해당해, 두 지표를 동시에 반영하는 종합 지표로 이해할 수 있다. 동일한 재현율 수준에서 더 높은 정확률을 낸 시스템일수록 평균정확률 값이 높게 나타난다. 정보검색 실험에서 여러 순위화 알고리즘을 비교할 때 재현율-정확률 곡선 전체를 그리는 대신 이 단일 값으로 손쉽게 우열을 가릴 수 있다는 실용적 이점이 있다.
논문에서는 이렇게 쓰입니다
평균정밀도가 개별 질의어 단위 지표이며, 이를 여러 질의에 대해 다시 평균하면 MAP이 된다는 관계를 보여주는 문장이다.
여러 순위 위치의 정밀도를 하나의 숫자로 압축하는 방식을 설명합니다.
조금 더 깊게 보면
AP는 적합성 판정이 이진(적합/비적합)이라는 가정을 두므로, 등급형 적합성에는 nDCG가 더 적절합니다. 적합 문헌 전체 수를 알아야 계산되는데, 대규모 컬렉션에서는 풀링으로 추정하므로 판정되지 않은 문헌이 비적합으로 간주되는 편향이 있습니다. 평균정확률은 관련문헌이 검색된 각 순위 지점에서의 정확률을 평균 내어, 관련문헌이 상위에 몰려 있을수록 높은 점수를 주는 순위 민감형 지표다. 단일 질의에 대한 검색 성능을 하나의 숫자로 요약할 수 있어, 여러 시스템의 성능을 직접 비교하는 데 자주 쓰인다. 관련문헌을 전혀 찾지 못한 질의는 평균정확률이 0으로 계산되어 전체 평균을 크게 낮추는 영향을 준다.
주의할 점
평균정밀도는 관련 문헌이 검색 순위 상위에 위치할수록 높게 산출되므로 순위에 민감한 지표라는 점을 이해해야 한다.