정밀률 (Precision)

문헌정보학
한 줄 정의: 검색시스템이 검색해 낸 문헌 중 실제로 관련 있는 문헌의 비율로, 검색 결과가 얼마나 정확한지를 나타내는 정보검색 성능 평가지표이다.

쉽게 풀면

검색해서 나온 결과 중에 실제로 쓸모 있는(관련 있는) 자료가 얼마나 되는지를 보여주는 지표이다. 낚시로 그물을 던져 물고기 10마리를 건졌는데 그중 8마리만 원하는 어종이었다면, 정밀률은 80%가 된다. 검색 결과가 얼마나 '군더더기 없이' 깔끔한지를 나타내는 지표라고 보면 된다.

왜 중요한가

정보검색시스템의 성능을 평가하는 두 핵심 지표 중 하나로, 재현율과 함께 짝을 이루어 검색결과의 정확성과 완전성이라는 서로 다른 측면을 측정하는 데 쓰이며, 검색엔진과 도서관 검색시스템 평가 연구에서 표준적으로 활용됩니다.

이용자가 상위 몇 개의 결과만 살펴보는 웹 검색 환경에서는 정밀률이 특히 체감 만족도와 직결되어, 검색엔진 순위 알고리즘 평가 연구에서 중요하게 다뤄집니다. 웹 검색처럼 결과가 방대한 환경에서는 이용자가 상위 몇 건만 확인하므로 정확률이 체감 만족도에 더 큰 영향을 미친다.

계산과 범위

정보검색에서 정밀률은 검색해 낸 문서 중 관련 있는 문서의 비율입니다.

정밀률 = (검색된 관련 문서 수) ÷ (검색된 문서 수), 범위는 0~1(또는 0~100%)입니다.

해석 기준

같은 가설 질문에 검색 시스템이 10건을 순서대로 보여 주었고, 컬렉션 전체에는 관련 문서가 6건 있다고 합시다. 결과에서 관련 문서가 나온 순위는 1, 3, 4, 7위입니다(가상의 예, 계산 결과).

지표계산값
P@5상위 5건 중 관련 3건 → 3/50.60
P@10 (= 전체 정밀률)10건 중 관련 4건 → 4/100.40
재현율@10전체 관련 6건 중 4건 → 4/60.67
평균정밀도(AP)관련 문서가 나온 순위의 정밀률 1/1, 2/3, 3/4, 4/7을 합해 전체 관련 문서 수 6으로 나눔0.50
F1@102 × 0.40 × 0.67 ÷ (0.40 + 0.67)0.50

같은 4건의 관련 문서가 결과의 앞쪽에 몰려 있었다면 P@10은 여전히 0.40이지만 AP는 훨씬 높아집니다. 정밀률 자체는 순서를 보지 않기 때문입니다. 검색 결과를 극단적으로 줄여 1건만 보여 주고 그것이 관련이면 정밀률 1.0이 되지만 재현율은 거의 0이므로, 두 지표를 함께 봐야 합니다.

보고 방법

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

상위 10건 검색결과를 기준으로 정밀률(Precision@10)을 산출하여 시스템 간 성능을 비교하였다.

검색결과 상위 일부만을 대상으로 정밀률을 계산하는 Precision@k 방식의 활용 사례를 보여주는 문장이다.

본 연구는 통제어휘 기반 색인이 자유텍스트 색인보다 정밀률 측면에서 더 우수한 성능을 보였다고 보고하였다.

통제어휘를 사용한 색인 방식이 검색 결과의 정확성을 높이는 데 기여했다는 결과를 보고한 문장이다.

조금 더 깊게 보면

정밀률과 재현율은 일반적으로 상충관계에 있어 한쪽을 높이면 다른 쪽이 낮아지는 경향이 있으므로, 두 지표를 조화롭게 종합하는 F-측정치 같은 지표가 함께 사용되는 경우가 많습니다. 순위를 고려하는 평균정밀도(MAP)나 재현율-정밀도 그래프 등 정밀률을 확장한 다양한 지표도 함께 연구된다.

정확률은 검색된 결과 중 실제로 관련 있는 비율을 뜻하며, 재현율과 흔히 상충 관계에 있어 한쪽을 높이면 다른 쪽이 낮아지는 경향이 나타난다. 이용자가 상위 몇 건만 살펴보는 실제 검색 행태를 고려해, 상위 N건에 대한 정확률만 따로 계산하는 방식도 널리 쓰인다.

주의할 점

정밀률은 검색된 결과의 순서를 고려하지 않으므로, 순위를 반영하려면 평균정밀도나 NDCG 같은 지표를 함께 사용해야 한다. 정밀률만 놓고 보면 검색 결과 수를 극단적으로 줄여 정밀률을 인위적으로 높일 수도 있어, 재현율과 함께 균형 있게 해석해야 한다는 점도 유의해야 한다.

헷갈리기 쉬운 용어

이름이 비슷하거나 함께 쓰이는 지표들입니다.

용어분모한 줄 설명
정밀률(precision)검색된(예측한) 문서 수내놓은 결과 중 맞는 것의 비율
재현율(recall)전체 관련 문서 수있어야 할 것 중 찾아낸 것의 비율
정확도(accuracy)전체 판정 수맞게 판정한 비율. 대부분이 비관련인 검색에서는 쉽게 높아져 잘 쓰지 않음
F1 점수—정밀률과 재현율의 조화평균
정밀도-재현율 곡선—기준을 바꾸며 두 지표의 관계를 그린 곡선

참고 문헌

  1. Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
  2. van Rijsbergen, C. J. (1979). Information Retrieval (2nd ed.). Butterworths.
  3. Cleverdon, C. W. (1962). Report on the Testing and Analysis of an Investigation into the Comparative Efficiency of Indexing Systems. ASLIB Cranfield Research Project.
  4. Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness and correlation. Journal of Machine Learning Technologies, 2(1), 37–63.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어