색인일관성 (Indexing Consistency)
쉽게 풀면
같은 자료를 여러 사람이 색인할 때 얼마나 비슷한 색인어를 붙이는지를 보는, 색인의 신뢰도를 재는 척도이다. 여러 사람이 같은 자료를 색인할 때 얼마나 비슷하게 하는지를 재는 척도다.
왜 중요한가
색인일관성은 색인자들이 같은 문헌에 같은 색인어를 부여하는 정도로, 이것이 낮으면 검색자가 어떤 용어로 찾아야 할지 예측할 수 없어 재현율이 떨어집니다. 색인 품질 관리와 자동 색인 평가에서 사람 색인의 상한선을 추정하는 기준으로 쓰입니다. 일관성이 지나치게 낮은 색인 체계는 검색자가 어떤 색인어로 질의해야 할지 예측할 수 없게 만들어, 결과적으로 재현율 저하라는 실질적 검색 성능 문제로 이어진다.
논문에서는 이렇게 쓰입니다
색인일관성을 정량적 계수로 측정한 실증 연구 결과를 소개하는 문장이다.
색인 시 사용하는 용어 체계가 통제되어 있는지에 따라 일관성 수준이 달라질 수 있음을 설명하는 문장이다.
조금 더 깊게 보면
연구마다 일관성이 상당히 낮게 측정되어 왔으며, 이는 색인자의 실수보다 어바우트니스 판단 자체의 주관성을 반영한다는 해석이 우세합니다. 일관성이 높다고 색인의 질이 높은 것은 아니며(모두 같은 오류를 낼 수 있음), 측정 공식(Hooper, Rolling 등)에 따라 값이 달라 비교 시 주의가 필요합니다. Rolling 계수와 Hooper 계수는 모두 일치도를 비율로 표현하지만 계산식이 달라 같은 데이터라도 공식 선택에 따라 수치가 다르게 나오므로, 논문에서는 반드시 사용한 공식을 명시해야 비교가 가능합니다. 일관성 측정치는 색인자 수가 늘어날수록 자연히 낮아지는 경향이 있어, 두 명을 비교한 연구와 다섯 명을 비교한 연구의 일관성 수치를 그대로 나란히 비교하는 것은 부적절하다.
주의할 점
색인일관성이 낮다고 해서 반드시 색인 품질이 나쁜 것은 아니며, 통제어휘의 세분성이나 문헌의 다주제성 등 여러 요인이 영향을 미친다. 일관성 수치만 높이려고 색인자에게 매우 좁은 범위의 통제어휘만 쓰도록 강제하면, 오히려 문헌의 미묘한 주제 차이를 표현하지 못하게 될 수 있다.