풀링기법 (Pooling Technique)
쉽게 풀면
모든 문서를 다 사람이 검사할 수 없으니, 여러 검색시스템이 뽑아낸 상위 결과들만 모아서 그것만 사람이 관련성을 판단하는 방법이다.
왜 중요한가
TREC 등 대규모 정보검색 평가대회에서 전체 문헌집단을 모두 판정하는 것이 현실적으로 불가능할 때, 여러 시스템의 상위 검색 결과만을 모아 관련성판단 대상을 실용적 규모로 축소하는 표준 절차로 쓰입니다. 이 기법 덕분에 TREC 같은 대회는 수백만 건 규모의 문서집합에서도 실질적인 평가를 수행할 수 있었다. 참여 시스템 수가 많을수록 풀의 대표성이 높아져, 소수 시스템만으로 풀을 구성했을 때보다 평가의 공정성이 개선된다.
논문에서는 이렇게 쓰입니다
대규모 평가대회에서 풀링기법을 통해 현실적으로 관련성판단이 가능한 규모의 데이터셋을 만드는 절차를 설명한 문장이다.
여러 출처에서 얻은 검색 결과를 한데 모아 중복을 걸러내는 방식으로 평가 대상 자료를 구성했다는 설명이다.
조금 더 깊게 보면
풀에 포함되지 않은 문헌은 관련 문헌이라도 비관련으로 간주되는 한계가 있어, 이후 새로운 검색시스템을 평가할 때 풀 구축 당시 참여하지 않은 시스템의 성능이 과소평가될 수 있다는 방법론적 문제가 지적됩니다. 풀링기법은 여러 검색시스템이 상위에 반환한 결과들을 합쳐 하나의 후보 집합(풀)을 만든 뒤 이것만 사람이 평가함으로써, 전체 문서집합을 모두 평가하지 않고도 근사적인 관련성판단 데이터를 구축한다. TREC 평가 대회는 여러 참가 시스템의 결과를 풀링해 평가 부담을 여러 참가팀에 분산시키는 방식으로 대규모 벤치마크를 구축해 왔다. 풀의 깊이(상위 몇 건까지 포함할지)는 평가의 신뢰도와 평가 비용 사이의 절충으로 결정된다.
주의할 점
풀에 포함되지 않은 문헌은 자동으로 비관련으로 간주되므로, 풀에 참여하지 않은 새로운 시스템의 성능이 과소평가될 위험이 있다. 풀에 포함되지 않은 문서는 관련문헌이라도 비관련으로 간주되어 평가에서 불리하게 처리될 수 있다는 점에 유의해야 한다.