크랜필드 패러다임 (Cranfield Paradigm)
한 줄 정의: 고정된 문헌집합·질의·적합성 판정을 이용해 검색 시스템 성능을 재현율과 정밀률 등으로 비교하는 실험 평가 방식입니다.
쉽게 풀면
여러 검색 방법 중 어느 것이 더 나은지 공정하게 비교하려면 같은 조건이 필요합니다. 그래서 문서 모음, 질문 목록, 각 질문에 맞는 정답 문서 목록을 미리 만들어 둡니다. 그다음 각 방법이 정답 문서를 얼마나 잘 찾는지 점수를 매기는 방식입니다.
왜 중요한가
오늘날 TREC 같은 검색 평가 대회와 대부분의 검색 알고리즘 논문이 이 틀을 따르므로, 정보검색 실험 설계를 이해하는 기본 개념입니다. 이용자 중심 평가와의 차이를 논할 때도 기준점이 됩니다.
논문에서는 이렇게 쓰입니다
"본 연구는 크랜필드 패러다임에 따라 테스트 컬렉션과 적합성 판정 자료를 구축하고 두 순위화 모형의 nDCG를 비교하였다."
실험 평가의 구성 요소를 갖춘 서술입니다.
조금 더 깊게 보면
영국 크랜필드의 항공대학 사서 시릴 클레버던(Cyril Cleverdon)이 1950~60년대 색인 언어 비교 실험(Cranfield I, II)에서 확립했습니다. 핵심 구성은 테스트 컬렉션, 질의 집합, 적합성 판정, 평가 척도입니다. 적합성을 고정된 판정으로 보는 가정은 이용자·상황에 따라 달라지는 적합성 개념과 맞지 않는다는 비판을 받았습니다. 대규모 컬렉션에서는 모든 문서를 판정할 수 없어 풀링 기법이 도입되었습니다.
주의할 점
TREC은 이 패러다임을 대규모로 적용한 평가 대회이고, 이 항목은 평가 방식 자체입니다. 실험실 성능이 실제 이용자 만족을 그대로 보장하지는 않습니다.