교차엔트로피 (Cross-Entropy)
쉽게 풀면
실제 정답 확률분포와 모형이 예측한 확률분포가 얼마나 다른지를 측정하는 척도로, 모형이 실제 정답을 얼마나 잘 예측하는 확률을 부여했는지 평가하는 데 쓰인다. 예측이 실제 정답에 가까울수록 교차엔트로피 값은 작아지며, 완벽하게 일치하면 교차엔트로피는 실제 분포 자체의 엔트로피와 같아진다. 로지스틱 회귀나 신경망 분류 모형의 손실함수로 최대우도추정과 사실상 동일한 원리로 사용된다.
왜 중요한가
교차엔트로피는 딥러닝 모형 학습의 핵심 목적함수로, 분류 문제를 다루는 거의 모든 논문에서 손실함수 설계와 성능 비교의 출발점이 된다. 최대우도추정과 수학적으로 연결되어 있어 확률적 예측 모형의 이론적 정당성을 뒷받침하며, 언어모형의 학습 목표(다음 토큰 예측)도 본질적으로 교차엔트로피 최소화로 정식화된다. 이 때문에 새로운 손실함수나 정칙화 기법을 제안하는 논문은 대부분 교차엔트로피를 기준선으로 삼아 비교한다.
논문에서는 이렇게 쓰입니다
분류모형의 학습 및 성능 평가에서 예측확률과 실제 결과 사이의 불일치 정도를 수치화하는 손실함수로 사용된다.
자연어처리 분야에서 언어모형의 사전학습 목표를 정의하는 표준적인 손실함수로 교차엔트로피가 사용됨을 보여준다.
의료영상 분류와 같이 클래스 비율이 불균형한 실무 문제에서 교차엔트로피를 변형해 활용하는 방식을 보여준다.
조금 더 깊게 보면
교차엔트로피는 실제 분포의 엔트로피와 쿨백-라이블러 발산의 합으로 분해되는데, 실제 분포의 엔트로피는 모형과 무관한 상수이므로 교차엔트로피를 최소화하는 것은 곧 쿨백-라이블러 발산을 최소화하는 것과 동일하다. 다중 클래스 분류에서는 소프트맥스 함수의 출력과 결합되어 소프트맥스 교차엔트로피 형태로 자주 쓰이며, 클래스 불균형이나 라벨 노이즈를 다루기 위해 가중치를 부여하거나 라벨 스무딩과 같은 변형을 적용하기도 한다. 논문을 읽을 때는 어떤 확률분포(원-핫 라벨 vs. 소프트 라벨)를 기준으로 교차엔트로피가 계산되었는지 확인하는 것이 해석에 중요하다.
주의할 점
교차엔트로피를 최소화하는 것은 수학적으로 최대우도추정을 수행하는 것과 동일한 문제이므로, 두 개념을 서로 무관한 것으로 오해하지 않도록 주의해야 한다.