관련성판단 (Relevance Judgment)
한 줄 정의: 특정 질의어에 대해 검색된 문헌이 이용자의 정보요구에 관련이 있는지 없는지를 평가자가 판정하는 행위 또는 그 결과로, 정보검색시스템의 성능을 평가하기 위한 정답 데이터(gold standard)를 구성하는 데 사용된다.
쉽게 풀면
어떤 자료가 검색어와 정말로 관련이 있는지 없는지를 사람이 직접 판단해서 매기는 것이다.
논문에서는 이렇게 쓰입니다
본 실험에서는 세 명의 평가자가 독립적으로 관련성판단을 수행한 뒤 평가자 간 일치도를 카파계수로 산출하였다.
관련성판단의 신뢰도를 확보하기 위해 다수 평가자의 일치도를 통계적으로 검증하는 절차를 설명한 문장이다.
주의할 점
관련성판단은 평가자의 주관, 배경지식, 시점에 따라 달라질 수 있어 완전히 객관적인 절대 기준이 되기 어렵다.