평균정밀도평균 (Mean Average Precision (MAP))

문헌정보학

한 줄 정의: 여러 질의어 각각에 대해 산출한 평균정밀도(Average Precision) 값들을 다시 산술평균한 지표로, 정보검색 시스템 전체의 순위화 성능을 하나의 수치로 요약해 보여주는 대표적인 평가지표이다.

쉽게 풀면

여러 검색어에 대해 각각 계산한 '평균정밀도'를 또 한 번 평균 낸, 검색시스템 전체의 종합 성적표 같은 지표이다.

왜 중요한가

MAP는 여러 질의에 대한 평균정밀도를 다시 평균해 검색 시스템의 전반적 순위 품질을 하나의 수치로 나타내며, TREC 이후 검색 모형 비교의 표준 지표로 자리잡았습니다. 논문에서 BM25 대비 성능 향상을 보고할 때 가장 흔히 쓰인 척도입니다. MAP 값이 높다는 것은 대부분의 질의에서 고르게 좋은 성능을 낸다는 의미로 해석된다. MAP 점수는 학술 논문에서 새로운 검색 알고리즘의 우수성을 입증하는 핵심 근거로 가장 흔히 인용되는 지표 중 하나다.

논문에서는 이렇게 쓰입니다

TREC 애드혹 검색과제에서 각 시스템의 성능은 50개 질의어에 대한 평균정밀도평균(MAP)으로 비교되었다.

TREC과 같은 정보검색 평가대회에서 시스템 성능을 비교할 때 MAP이 표준 지표로 사용됨을 보여주는 문장이다.

반면 순위 상위권의 정밀도만을 중시하는 과제에서는 MAP보다 상위 k개 결과만 반영하는 지표가 시스템 성능을 더 잘 구분한다는 연구도 있다.

과제의 성격에 따라 MAP이 항상 가장 적합한 평가지표는 아닐 수 있다는 한계를 지적한 문장이다.

조금 더 깊게 보면

MAP는 질의 간 난이도 차이를 평균으로 가려 소수의 어려운 질의에서의 성능 차이를 드러내지 못하므로, 질의별 분포와 통계 검정을 함께 보고하는 것이 권고됩니다. 이진 적합성을 전제하므로 등급형 판정 데이터에는 nDCG가 더 적절하며, 최근에는 상위 소수 결과에 집중하는 지표가 선호되는 경향이 있습니다. MAP은 여러 질의에 대한 평균정확률을 다시 평균한 값으로, 단일 질의 성능이 아니라 검색시스템의 전반적 성능을 비교하는 표준 벤치마크 지표로 TREC 같은 평가 대회에서 널리 쓰인다. 특정 질의에서만 높은 성능을 보이는 시스템과 전반적으로 고른 성능을 보이는 시스템을 구분하는 데 유용하다. 일부 질의에서 극단적으로 낮은 점수가 나오면 MAP 전체 평균이 왜곡될 수 있어, 질의별 점수 분포도 함께 살펴보는 것이 바람직하다.

주의할 점

MAP은 이진 관련성 판단(관련/비관련)을 전제로 계산되므로 다단계 관련성 등급을 반영하려면 NDCG 같은 지표가 더 적합하다.