최소기술길이 원리 (Minimum Description Length Principle)
쉽게 풀면
'가장 좋은 모형은 자료를 가장 잘 압축할 수 있는 모형이다'라는 아이디어에서 출발한다.
지나치게 단순한 모형은 자료를 잘 설명하지 못해 오차를 표현하는 데 많은 정보가 필요하고, 지나치게 복잡한 모형은 모형 자체를 기술하는 데 많은 정보가 필요한데, 최소기술길이 원리는 이 둘의 합(모형을 기술하는 길이와 오차를 기술하는 길이)이 최소가 되는 지점에서 균형을 찾는다.
이는 정보이론적 관점에서 오컴의 면도날(단순한 설명 선호)을 수학적으로 정식화한 것으로 볼 수 있다.
왜 중요한가
최소기술길이 원리는 모형의 적합도와 복잡도 사이의 트레이드오프를 정보이론이라는 독립적인 틀로 정당화하기 때문에, AIC·BIC 같은 전통적 모형 선택 기준을 이론적으로 뒷받침하거나 비교하는 논의에서 자주 인용됩니다. 또한 데이터 압축과 통계적 학습을 같은 언어로 연결하는 관점을 제공해, 기계학습에서 모형 복잡도를 규제(regularization)하는 원리를 설명할 때도 개념적 근거로 쓰입니다.
핵심 정리
최소기술길이(MDL) 원리는 “자료의 규칙성을 잘 잡은 모형은 자료를 짧게 압축한다”는 생각에서 출발합니다. 모형 선택에서는 모형을 적는 길이 + 그 모형으로 자료를 적는 길이의 합이 가장 짧은 모형을 고릅니다(Rissanen, 1978).
L(총) = L(모형) + L(자료 | 모형)
- 복잡한 모형은 L(자료 | 모형)이 작아도(잘 맞아도) L(모형)이 커서 합이 줄지 않습니다. 이것이 과적합을 막는 장치입니다.
- 길이는 비트(또는 nat)로 잰 부호 길이입니다. 확률분포는 부호와 일대일로 대응하므로 L(자료 | 모형) = −log(우도)입니다.
- 가장 단순한 “두 부분 부호화”에서 파라미터가 k개인 모형의 L(모형)은 약 (k/2)·log n으로 근사되며, 이는 BIC의 벌점과 같은 꼴입니다(Schwarz, 1978). 다만 정교한 MDL(정규화 최대우도 부호 등)은 BIC와 다른 벌점을 줍니다.
- 베이즈 추론의 사전분포 없이도 정의될 수 있고, 모형이 “참”이라고 가정하지 않는 점이 특징입니다(Grünwald, 2007).
예시로 보기
(가상의 예, 직접 계산) 참 모형이 2차식 1 + 0.5x − 0.08x² (오차 SD 0.5)인 모의 자료 40개에 0~5차 다항식을 맞추고, 근사 MDL (n/2)·ln(RSS/n) + (k/2)·ln n과 AIC를 비교합니다(k는 계수 수, 같은 상수를 뺀 값).
| 차수 | 계수 수 k | RSS | 근사 MDL | AIC |
|---|---|---|---|---|
| 0 | 1 | 63.40 | 11.06 | 20.42 |
| 1 | 2 | 24.49 | -6.12 | -15.62 |
| 2 | 3 | 6.31 | -31.40 | -67.87 |
| 3 | 4 | 6.23 | -29.82 | -66.40 |
| 4 | 5 | 5.94 | -28.91 | -66.27 |
| 5 | 6 | 5.69 | -27.92 | -65.98 |
차수를 높일수록 RSS는 계속 줄지만(맞춤은 좋아짐) 벌점이 더해져 근사 MDL은 2차에서 최소가 됩니다. RSS만 봤다면 5차를 골랐을 것입니다. 이 예에서는 AIC도 같은 선택을 하지만, 표본이 크면 BIC·MDL 쪽 벌점이 더 커서 더 단순한 모형을 고르는 경향이 있습니다.
자주 하는 오해
- “MDL은 가장 단순한 모형을 고르는 규칙이다”: 단순함이 아니라 총 부호 길이(적합 + 복잡도)의 최소화입니다. 자료가 충분하면 복잡한 모형도 선택됩니다.
- “MDL = BIC”: 조잡한(두 부분) 부호화의 근사에서 닮았을 뿐, 정교한 MDL은 파라미터 공간의 기하까지 반영해 다른 값을 줍니다.
- “압축이 곧 인과·참 모형을 알려 준다”: MDL은 주어진 후보 중에서 자료를 잘 압축하는 모형을 고를 뿐 참을 보장하지 않습니다.
- “부호화 방식은 상관없다”: 파라미터 정밀도나 부호 설계에 따라 결과가 달라질 수 있어, 실제 사용에서 부호화를 정의해야 합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
AIC, BIC와 같은 전통적인 모형 선택 기준의 정보이론적 대안 또는 이론적 근거로 언급된다.
기계학습 논문에서 모형이 지나치게 복잡해지는 것을 막는 규제 기준으로 최소기술길이 원리가 활용된다는 의미입니다.
시계열 분석이나 신호처리 분야에서, 모형의 차수(복잡도)를 결정할 때 정보량 관점의 기준으로 최소기술길이 원리가 쓰인다는 뜻입니다.
조금 더 깊게 보면
최소기술길이 원리를 실제로 구현하려면 어떤 부호화 방식을 쓸지 정해야 하는데, 대표적으로 이상적이지만 계산이 어려운 콜모고로프 복잡도 대신, 실제로 계산 가능한 정규화 최대우도(normalized maximum likelihood)나 베이즈 부호화 같은 근사 방법이 흔히 쓰입니다. 이론적으로는 특정 조건 하에서 최소기술길이 기준이 BIC와 점근적으로 유사한 형태를 갖는다는 것이 알려져 있어, 두 기준을 비교하며 논의하는 경우가 많습니다.
주의할 점
최소기술길이 원리를 실제로 계산하려면 부호화 방식을 구체적으로 정의해야 하는데, 이 선택에 따라 결과가 달라질 수 있어 실무 적용에는 상당한 이론적 정교함이 요구된다.
헷갈리기 쉬운 용어
모형 선택 기준은 “무엇을 최소화하는가”가 다릅니다.
| 용어 | 벌점의 근거 | 특징 |
|---|---|---|
| MDL | 총 부호 길이(모형 + 자료) | 정보이론. 모형이 참이라고 가정하지 않음 |
| BIC | 사후확률 근사(−2 ln 우도 + k ln n) | n이 크면 단순한 모형을 선호. 조잡한 MDL과 같은 꼴 |
| AIC | 예측 오차(KL 정보량) 추정 | 예측이 목적. BIC보다 벌점이 약함 |
참고 문헌
- Rissanen, J. (1978). Modeling by shortest data description. Automatica, 14(5), 465–471.
- Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6(2), 461–464.
- Barron, A., Rissanen, J., & Yu, B. (1998). The minimum description length principle in coding and modeling. IEEE Transactions on Information Theory, 44(6), 2743–2760.
- Hansen, M. H., & Yu, B. (2001). Model selection and the principle of minimum description length. Journal of the American Statistical Association, 96(454), 746–774.
- Grünwald, P. D. (2007). The Minimum Description Length Principle. MIT Press.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.