섀넌 엔트로피 (Shannon Entropy)
쉽게 풀면
동전 던지기를 생각해봅시다. 앞면과 뒷면이 정확히 50:50으로 나오는 정상 동전은 결과를 예측하기가 가장 어렵습니다. 반면 앞면이 99% 나오는 조작된 동전은 결과가 거의 뻔합니다. 섀넌 엔트로피는 바로 이 "예측하기 어려운 정도"를 숫자로 표현한 것입니다. 결과가 골고루 흩어져 있을수록(불확실성이 클수록) 엔트로피 값이 크고, 한쪽으로 쏠려 있을수록(예측이 쉬울수록) 엔트로피 값이 작습니다. 정보이론의 창시자 클로드 섀넌이 "정보를 전달하려면 최소 몇 비트가 필요한가"라는 질문에 답하기 위해 만든 개념입니다.
왜 중요한가
섀넌 엔트로피는 "불확실성"이라는 추상적 개념을 하나의 수치로 환산할 수 있게 해주기 때문에, 정보이론뿐 아니라 데이터 압축, 암호학, 기계학습, 생태학, 언어학 등 확률 분포를 다루는 거의 모든 분야에서 공통 언어처럼 쓰입니다. 특히 기계학습에서는 손실함수 설계(교차 엔트로피 등)와 모델의 예측 신뢰도 평가에, 정보이론과 통신공학에서는 데이터를 얼마나 효율적으로 압축·전송할 수 있는지의 이론적 한계를 정하는 데 핵심 역할을 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 모델이 출력한 확률 분포가 한 클래스에 확신을 갖고 쏠려 있는지, 아니면 여러 클래스 사이에서 애매하게 퍼져 있는지를 엔트로피 값으로 측정했다는 뜻입니다. 엔트로피가 낮으면 모델이 확신을 갖고 예측한 것이고, 높으면 모델이 헷갈려하고 있다는 신호입니다.
생태학에서는 섀넌 엔트로피가 종 다양성 지수로 불리며, 한 서식지에 얼마나 다양한 종이 고르게 분포하는지를 측정하는 데 쓰입니다.
정보이론 원래의 용례로, 데이터를 압축할 때 이론적으로 더 이상 줄일 수 없는 최소 평균 비트 수를 엔트로피로 계산한 예문입니다.
조금 더 깊게 보면
실제 논문에서는 섀넌 엔트로피 자체보다 이를 응용한 여러 변형 지표를 더 자주 마주치게 됩니다. 대표적으로 두 확률분포의 차이를 재는 상호정보량과 KL divergence(쿨백-라이블러 발산), 그리고 기계학습에서 예측 확률과 정답 사이의 차이를 손실로 삼는 교차 엔트로피(cross entropy)가 있습니다. 이런 지표들은 모두 로그 함수를 기반으로 하며, 밑을 2로 두면 단위가 비트(bit), 자연로그를 쓰면 단위가 nat이 되는 등 로그의 밑에 따라 수치 단위가 달라진다는 점도 함께 알아두면 논문 수식을 읽을 때 도움이 됩니다.
주의할 점
섀넌 엔트로피는 확률 분포 하나의 불확실성을 재는 지표이며, 두 확률변수가 서로 얼마나 관련되어 있는지를 보려면 상호정보량처럼 별도의 개념이 필요합니다. 또한 열역학의 엔트로피(엔트로피)와 수학적 형태는 비슷하지만 물리적 의미는 다르므로 혼동하지 않아야 합니다.