개체명인식 (Named Entity Recognition)

한 줄 정의: 문장 속에서 사람 이름, 지명, 조직명, 날짜 같은 고유한 개체를 자동으로 찾아내고 그 종류를 분류하는 자연어처리 기술입니다.

쉽게 풀면

형광펜으로 신문 기사를 읽으면서 사람 이름에는 노란색, 지명에는 초록색, 회사 이름에는 파란색을 칠한다고 상상해보세요. 개체명인식은 컴퓨터가 바로 이 작업을 자동으로 해주는 것입니다. "이재명 대통령이 서울에서 삼성전자 관계자를 만났다"라는 문장을 보면, "이재명"은 인물, "서울"은 지명, "삼성전자"는 조직명으로 각각 표시해 줍니다. 이렇게 문장을 구조화된 정보로 바꿔주면, 사람이 일일이 읽지 않아도 수많은 문서에서 원하는 정보만 뽑아낼 수 있습니다.

왜 중요한가

개체명인식은 정보추출, 질의응답, 지식그래프 구축, 텍스트 마이닝 등 자연어처리의 여러 응용 과제에서 가장 앞단에 위치한 핵심 전처리 기술입니다. 비정형 텍스트에서 핵심 정보를 구조화된 형태로 뽑아내는 출발점이 되기 때문에, 의료·법률·금융처럼 방대한 문서를 다루는 실무 및 연구 분야에서 빈번히 다뤄집니다.

논문에서는 이렇게 쓰입니다

"임상 기록에서 약물명과 질병명을 추출하기 위해 개체명인식(NER) 모델을 BIO 태깅 방식으로 학습하였다."

이 문장은 "긴 의료 기록 텍스트에서 약 이름이나 병명처럼 중요한 단어들을 자동으로 찾아내도록, 각 글자(토큰)가 개체의 시작(B)인지 내부(I)인지 개체가 아닌지(O)를 표시하는 방식으로 모델을 학습시켰다"는 뜻입니다.

"금융 뉴스 기사에서 기업명과 재무 수치를 자동으로 추출하기 위해 사전학습된 언어모델을 개체명인식 과제에 맞게 파인튜닝하였다."

이 문장은 "금융 도메인의 특수한 용어를 잘 인식하도록, 범용 언어모델을 개체명인식 작업에 맞춰 추가로 학습시켰다"는 뜻입니다.

"법률 문서에서 당사자명, 판결일자, 관련 법조문을 식별하기 위해 도메인 특화 개체명 범주를 새로 정의하고 태깅 지침을 마련하였다."

이 문장은 "일반적인 인물·지명·조직명 범주로는 부족한 법률 문서의 특성을 반영해, 해당 분야에 맞는 새로운 개체 범주를 만들어 인식 작업을 수행했다"는 뜻입니다.

조금 더 깊게 보면

개체명인식 모델의 성능은 흔히 정밀도, 재현율, F1 점수로 평가하며, 개체의 경계와 범주가 모두 정확히 일치해야 정답으로 인정하는 엄격한 평가 방식(exact match)이 일반적으로 사용됩니다. 최근에는 BIO 태깅 기반의 순차 레이블링 방식뿐 아니라, 사전학습된 대형 언어모델을 활용해 문맥에 따라 유연하게 개체를 식별하는 접근도 늘고 있으며, 특정 분야(의료, 법률 등)에서는 일반 범주 외에 도메인 특화 개체 범주를 정의해 사용하는 경우가 많습니다.

주의할 점

개체명인식은 단순히 단어를 잘라내는 토큰화와는 다른 작업입니다. 토큰화가 문장을 조각내는 전처리 단계라면, 개체명인식은 그 조각들이 무엇을 의미하는지(사람인지 장소인지)까지 분류하는 더 상위 단계의 작업입니다.