레코드중복제거 (Record Deduplication)

한 줄 정의: 여러 도서관이나 데이터베이스로부터 수집된 서지레코드 가운데 동일한 자료를 가리키는 중복 레코드를 식별하여 하나로 통합하거나 제거하는 데이터 정제 작업으로, 종합목록의 품질 관리에 필수적이다.

쉽게 풀면

같은 자료를 가리키는 여러 개의 목록 정보를 찾아서 하나로 합치거나 지우는 작업이다. 여러 사람이 같은 책의 정보를 각자 따로 입력하면 같은 책인데도 목록에 여러 번 나타나게 되는데, 이런 중복을 찾아내 한 건으로 정리하는 청소 작업이라고 보면 된다. 특히 여러 기관의 목록을 한데 모으는 종합목록에서는 이런 중복이 자주 발생한다.

왜 중요한가

여러 도서관의 서지레코드를 통합하는 종합목록(WorldCat 등) 구축 과정에서 동일 자료를 가리키는 중복 레코드를 식별, 통합하는 데이터 정제 작업으로 필수적으로 다뤄집니다. 이용자가 검색 결과에서 같은 책을 여러 번 마주치지 않도록 해주고 통계의 정확성도 높여주어, 데이터 품질 관리 연구와 서지레코드 매칭 알고리즘 연구에서 다뤄집니다.

논문에서는 이렇게 쓰입니다

본 연구는 서지레코드중복제거 알고리즘의 정확도를 표제와 발행연도 유사도 비교 방식으로 검증하였다.

레코드중복제거 알고리즘의 정확도를 표제와 발행연도 비교로 검증한 문장이다.

이 연구는 국제표준도서번호를 기준으로 한 매칭 방식이 표제 문자열 유사도 매칭보다 오탐지율이 낮았다고 보고하였다.

표준번호를 활용한 매칭이 문자열 비교보다 더 정확하게 중복을 식별했다는 결과를 보고한 문장이다.

조금 더 깊게 보면

동일 저작이라도 판, 인쇄, 형식이 다른 경우 중복으로 판단할지 별개 레코드로 유지할지에 대한 기준이 목록규칙과 시스템 정책에 따라 다르게 설정될 수 있습니다. 중복 판정에는 국제표준도서번호 같은 고유식별자 대조, 표제·저자·발행연도의 문자열 유사도 계산, 퍼지 매칭 알고리즘 등이 함께 활용된다. 완전히 동일한 필드값이 아니어도 표제·저자·발행연도 등 핵심 필드의 유사도를 계산해 병합 후보를 식별하는 퍼지 매칭 기법이 흔히 쓰인다. 서로 다른 레코드에서 온 필드 중 어느 값을 최종 레코드에 남길지 정하는 병합 규칙도 함께 마련되어야 한다.

주의할 점

레코드중복제거는 자동화된 알고리즘이 서로 다른 판본을 동일 자료로 잘못 병합할 위험이 있어, 병합 결과에 대한 검증 절차가 필요하다는 점에 유의해야 한다. 지나치게 관대한 기준을 적용하면 실제로는 다른 자료가 하나로 합쳐지는 오류가 발생할 수 있으므로 기준 설계에 주의가 필요하다.