데이터 라벨링 (Data Labeling / Annotation)

한 줄 정의: 지도 학습에 사용할 수 있도록 원시 데이터에 정답(레이블)을 사람 또는 도구를 통해 부여하는 작업.

쉽게 풀면

지도 학습 모델은 정답이 있는 데이터로 학습하는데, 세상에 있는 데이터 대부분은 처음부터 정답이 붙어 있지 않아요. 데이터 라벨링은 사진에 '고양이'인지 '개'인지 표시하거나, 문장에 감정이 긍정인지 부정인지 표시하는 것처럼 사람(때로는 반자동 도구)이 직접 정답을 붙여주는 작업입니다. 이 작업은 시간과 비용이 많이 들고, 라벨을 붙이는 사람마다 판단 기준이 다를 수 있어 품질 관리가 중요해요. 최근에는 라벨링 비용을 줄이기 위해 능동 학습이나 대형 모델을 활용한 자동/반자동 라벨링도 많이 활용됩니다.

왜 중요한가

지도 학습 모델의 성능은 결국 학습에 사용된 라벨의 품질에 크게 좌우되기 때문에, 데이터 라벨링은 모델 구조나 알고리즘 못지않게 중요한 요소로 다뤄집니다. 특히 의료 영상 판독처럼 전문 지식이 필요한 분야에서는 라벨링 자체가 상당한 비용과 시간이 드는 병목이 되어, 라벨링 비용을 줄이는 능동 학습이나 준지도 학습 같은 연구주제와도 밀접하게 연결됩니다. 또한 라벨링 기준과 절차가 논문에 얼마나 구체적으로 서술되어 있는지는 해당 데이터셋의 신뢰도와 재현 가능성을 판단하는 근거가 됩니다.

논문에서는 이렇게 쓰입니다

"세 명의 전문가가 독립적으로 데이터에 라벨링을 수행하고, 다수결을 통해 최종 라벨을 확정하였다."

라벨링 품질을 높이기 위해 여러 명이 각각 라벨을 붙이고 의견이 갈리면 다수결로 최종 정답을 정했다는 뜻이다.

"의료 영상 데이터셋은 방사선 전문의 2인이 독립적으로 병변 유무를 라벨링하고, 판독이 엇갈린 경우 제3의 전문의가 최종 판정을 내렸다."

전문성이 필요한 도메인에서는 비전문가 대신 해당 분야 전문가가 라벨링을 맡고, 의견 불일치를 해결할 별도 절차를 둔다는 뜻입니다.

"대규모 텍스트 데이터셋 구축을 위해 대형 언어모델로 초벌 라벨을 자동 생성한 뒤, 사람 검토자가 일부 표본을 무작위로 추출해 정확도를 검증하였다."

최근에는 사람이 처음부터 모든 데이터에 라벨을 붙이는 대신, 모델이 먼저 라벨을 붙이고 사람이 이를 검토·보완하는 방식도 쓰인다는 의미입니다.

조금 더 깊게 보면

라벨링 품질은 흔히 라벨러 간 일치도(inter-annotator agreement)로 정량화하며, 코헨의 카파처럼 우연히 일치할 가능성을 보정한 지표가 자주 쓰입니다. 일치도가 낮다면 라벨링 지침이 모호하거나 과제 자체가 본질적으로 주관적일 수 있음을 시사하므로, 논문을 읽을 때는 이 지표가 보고되어 있는지, 그리고 라벨러의 자격(전문가인지 비전문가인지)과 라벨링 지침이 충분히 구체적으로 서술되어 있는지를 확인하는 것이 데이터셋의 신뢰도를 판단하는 데 도움이 됩니다.

주의할 점

라벨러 간 판단 기준의 일관성을 확인하기 위해 라벨러 간 일치도(inter-annotator agreement)를 함께 보고하는 것이 중요하다.