주제적합성 (Topical Relevance)
쉽게 풀면
이용자 사정과는 상관없이, 단순히 그 글의 '주제'가 검색어와 같은 주제인지만 보는 관련성 개념이다.
왜 중요한가
이용자의 구체적 상황과 무관하게 텍스트 차원의 주제 일치만을 기준으로 하는 관련성 개념으로, 상황적합성과 대비되어 정보검색 평가이론에서 관련성 개념의 다층적 구조를 설명하는 데 쓰입니다. 시스템 성능을 재현 가능하게 비교하려면 평가자마다 달라지는 상황적 요소를 배제하고 주제 일치 여부만 판단하는 것이 실용적이다. 도서관 참고서비스에서 사서가 이용자의 실제 필요를 깊이 파악하려 하는 것도 주제적합성을 넘어 상황적합성을 살피려는 시도로 볼 수 있다.
논문에서는 이렇게 쓰입니다
주제만 일치하는 문헌과 이용자에게 실질적으로 도움이 되는 문헌이 서로 다를 수 있음을 비교 분석하는 문장이다.
이 문장은 검색어와 주제가 딱 맞아서 상위에 오른 문서라도, 실제 이용자는 별로 만족하지 못하는 경우가 있음을 확인했다는 뜻입니다.
조금 더 깊게 보면
TREC 같은 대규모 평가대회는 실무적으로 주로 주제적합성을 기준으로 관련성판단을 수행하는데, 이것이 실제 이용자 만족도를 완전히 반영하지 못한다는 비판이 상황적합성 개념이 부각된 배경이 되었습니다. 주제적합성은 문서 내용과 질의의 주제가 얼마나 일치하는지만을 따지는 좁은 의미의 관련성으로, 이용자의 실제 정보요구나 상황과는 무관하게 판단된다는 점에서 상황적합성과 구분된다. 대부분의 검색 평가 실험은 평가의 객관성과 재현 가능성을 위해 상황적합성 대신 주제적합성을 기준으로 삼는다. 실제 이용자 만족도를 평가하려면 주제적합성만으로는 부족해 상황적합성까지 함께 고려한 이용자 연구가 별도로 필요하다. 전통적인 TREC 실험 설계는 대체로 주제적합성만을 관련성판단의 기준으로 채택해, 평가의 재현성과 객관성을 우선시한다.
주의할 점
주제적합성이 높아도 이용자의 현재 과업이나 지식수준에 맞지 않으면 실제 유용성(상황적합성)은 낮을 수 있다.