풀링기법 (Pooling Technique)
한 줄 정의: 대규모 문헌집단 전체를 관련성판단 대상으로 삼는 대신, 여러 검색시스템이 상위로 검색해 낸 결과들을 합집합으로 모아 그 부분집합에 대해서만 관련성판단을 수행하는 대규모 정보검색 평가 기법이다. TREC 등의 평가대회에서 표준적으로 사용된다.
쉽게 풀면
모든 문서를 다 사람이 검사할 수 없으니, 여러 검색시스템이 뽑아낸 상위 결과들만 모아서 그것만 사람이 관련성을 판단하는 방법이다.
논문에서는 이렇게 쓰입니다
TREC 실험은 참가 시스템들의 상위 100건 결과를 합쳐 풀링기법으로 평가용 관련성판단 집합을 구축하였다.
대규모 평가대회에서 풀링기법을 통해 현실적으로 관련성판단이 가능한 규모의 데이터셋을 만드는 절차를 설명한 문장이다.
주의할 점
풀에 포함되지 않은 문헌은 자동으로 비관련으로 간주되므로, 풀에 참여하지 않은 새로운 시스템의 성능이 과소평가될 위험이 있다.