소스부호화와 엔트로피 한계 (Source Coding and Entropy Limit)

한 줄 정의: 정보원의 통계적 특성을 이용해 데이터를 손실 없이 표현할 때, 평균적으로 필요한 최소 비트 수(엔트로피)를 이론적 한계로 제시하는 정보이론의 개념입니다.

쉽게 풀면

어떤 정보를 저장하거나 전송할 때, 무작정 모든 값을 같은 길이의 부호로 표현하면 비효율적입니다. 자주 나오는 값에는 짧은 부호를, 드물게 나오는 값에는 긴 부호를 배정하면 평균적으로 더 적은 비트로 같은 정보를 전달할 수 있습니다. 정보이론은 이런 식으로 아무리 잘 압축해도 평균 비트 수를 절대 더 줄일 수 없는 이론적 한계가 있다는 것을 보였는데, 이 한계가 바로 정보원의 엔트로피입니다. 소스부호화는 이 엔트로피 한계에 최대한 가까운 압축을 달성하려는 부호화 방식들을 통칭합니다.

왜 중요한가

엔트로피 한계는 무손실 압축의 이론적 최댓값을 알려주므로, 특정 압축 알고리즘이 이론적으로 얼마나 더 개선될 여지가 있는지 판단하는 기준이 됩니다. 파일 압축, 데이터 저장, 통신 대역폭 절약 등 실용적인 소스부호화 기술 설계의 근간이 되는 개념입니다.

논문에서는 이렇게 쓰입니다

"The average code length of the Huffman code closely approaches the entropy limit given by the source coding theorem."

허프만 부호의 평균 부호 길이가 소스부호화 정리가 제시하는 엔트로피 한계에 근접한다는 내용입니다.

"We measure the gap between the achieved compression ratio and the theoretical entropy limit of the given data source."

달성한 압축률과 주어진 데이터원의 이론적 엔트로피 한계 사이의 격차를 측정했다는 예문입니다.

조금 더 깊게 보면

엔트로피는 각 심볼이 나타날 확률을 바탕으로 계산되며, 확률이 고르게 분포할수록(예측하기 어려울수록) 엔트로피가 커지고 압축 여지는 줄어듭니다. 허프만 부호화나 산술 부호화 같은 소스부호화 기법들은 심볼의 발생 확률에 맞춰 부호 길이를 조절함으로써 이 엔트로피 한계에 근접하도록 설계됩니다.

주의할 점

엔트로피 한계는 정보원의 확률 분포를 정확히 알고 있다는 가정 위에서 계산되므로, 실제 데이터의 통계 특성이 가정과 다르거나 시간에 따라 변하면 실제 압축 성능은 이론적 한계와 차이를 보일 수 있습니다.