조건부 무작위장 (conditional random field)
한 줄 정의: 입력이 주어졌을 때 출력 라벨들의 조건부 확률을 직접 모델링하는 무방향 확률 그래프 모형으로, 주로 시퀀스 라벨링에 쓰여요.
쉽게 풀면
문장의 각 단어에 "사람 이름", "지명" 같은 라벨을 붙일 때, 한 단어의 라벨은 앞뒤 단어의 라벨과 관련이 있어요. 조건부 무작위장은 단어 하나하나를 따로 보지 않고 라벨들의 연결 관계까지 함께 고려해 가장 그럴듯한 라벨 줄을 골라요.
왜 중요한가
개체명 인식, 품사 태깅, 이미지 분할 후처리에서 오랫동안 표준 방법이었고, 지금도 신경망 위에 얹는 출력층(BiLSTM-CRF 등)으로 쓰여요.
논문에서는 이렇게 쓰입니다
"BiLSTM 인코더 위에 CRF 층을 추가하자 개체명 인식의 F1 점수가 1.8점 향상되었다."
신경망과 CRF를 결합한 시퀀스 라벨링 결과 문장이에요.
조금 더 깊게 보면
Lafferty, McCallum, Pereira(2001)가 제안했어요. 가장 흔한 선형 사슬 CRF는 이웃한 라벨끼리 연결된 구조로, 입력 전체를 보고 라벨 순서 전체의 확률을 계산해요. 은닉 마르코프 모형처럼 관측을 생성하는 확률을 모델링하지 않는 판별 모형이라, 겹치는 다양한 입력 특징을 자유롭게 쓸 수 있어요. 가장 가능성 높은 라벨 순서는 비터비 알고리즘으로 찾고, 학습은 조건부 로그우도를 최대화하는 방식으로 해요.
주의할 점
확률 그래프 모형은 상위 계열 이름이고, 조건부 무작위장은 그중 조건부 확률을 다루는 판별적 무방향 모형이에요. 임상연구의 증례기록서(CRF, case report form)와 약어가 같으니 분야를 확인해야 해요.