최소기술길이 원리 (Minimum Description Length Principle)
쉽게 풀면
'가장 좋은 모형은 자료를 가장 잘 압축할 수 있는 모형이다'라는 아이디어에서 출발한다. 지나치게 단순한 모형은 자료를 잘 설명하지 못해 오차를 표현하는 데 많은 정보가 필요하고, 지나치게 복잡한 모형은 모형 자체를 기술하는 데 많은 정보가 필요한데, 최소기술길이 원리는 이 둘의 합(모형을 기술하는 길이와 오차를 기술하는 길이)이 최소가 되는 지점에서 균형을 찾는다. 이는 정보이론적 관점에서 오컴의 면도날(단순한 설명 선호)을 수학적으로 정식화한 것으로 볼 수 있다.
왜 중요한가
최소기술길이 원리는 모형의 적합도와 복잡도 사이의 트레이드오프를 정보이론이라는 독립적인 틀로 정당화하기 때문에, AIC·BIC 같은 전통적 모형 선택 기준을 이론적으로 뒷받침하거나 비교하는 논의에서 자주 인용됩니다. 또한 데이터 압축과 통계적 학습을 같은 언어로 연결하는 관점을 제공해, 기계학습에서 모형 복잡도를 규제(regularization)하는 원리를 설명할 때도 개념적 근거로 쓰입니다.
논문에서는 이렇게 쓰입니다
AIC, BIC와 같은 전통적인 모형 선택 기준의 정보이론적 대안 또는 이론적 근거로 언급된다.
기계학습 논문에서 모형이 지나치게 복잡해지는 것을 막는 규제 기준으로 최소기술길이 원리가 활용된다는 의미입니다.
시계열 분석이나 신호처리 분야에서, 모형의 차수(복잡도)를 결정할 때 정보량 관점의 기준으로 최소기술길이 원리가 쓰인다는 뜻입니다.
조금 더 깊게 보면
최소기술길이 원리를 실제로 구현하려면 어떤 부호화 방식을 쓸지 정해야 하는데, 대표적으로 이상적이지만 계산이 어려운 콜모고로프 복잡도 대신, 실제로 계산 가능한 정규화 최대우도(normalized maximum likelihood)나 베이즈 부호화 같은 근사 방법이 흔히 쓰입니다. 이론적으로는 특정 조건 하에서 최소기술길이 기준이 BIC와 점근적으로 유사한 형태를 갖는다는 것이 알려져 있어, 두 기준을 비교하며 논의하는 경우가 많습니다.
주의할 점
최소기술길이 원리를 실제로 계산하려면 부호화 방식을 구체적으로 정의해야 하는데, 이 선택에 따라 결과가 달라질 수 있어 실무 적용에는 상당한 이론적 정교함이 요구된다.