정보기준 (Information Criterion)

한 줄 정의: 모델이 데이터를 얼마나 잘 설명하는지와 모델이 얼마나 복잡한지를 함께 고려해, 여러 후보 모델 중 무엇이 더 나은지를 하나의 숫자로 비교하게 해주는 지표입니다.

쉽게 풀면

변수를 계속 추가하면 모델은 항상 데이터에 더 "잘 맞는" 것처럼 보입니다. 마치 시험 문제의 답을 미리 알고 답안지를 쓰면 점수가 좋아지는 것과 비슷합니다. 하지만 그렇게 만든 모델은 새로운 데이터에는 오히려 약할 수 있습니다. 정보기준(대표적으로 AIC, BIC)은 "설명을 얼마나 잘하는가"에 "변수를 몇 개나 썼는가"라는 페널티를 더해서, 지나치게 복잡한 모델에게는 감점을 주는 방식으로 공정하게 점수를 매깁니다. 여러 모델 중 이 값이 가장 작은 모델을 "상대적으로 더 나은 모델"로 선택합니다.

왜 중요한가

정보기준은 여러 후보 모델 중 하나를 선택해야 하는 거의 모든 통계·계량 분석 논문에서 등장하는 실용적인 도구입니다. 단순히 데이터에 가장 잘 맞는 모델을 고르면 과적합 위험이 커지기 때문에, 설명력과 복잡도를 함께 고려하는 정보기준은 회귀분석, 시계열 모형, 구조방정식 모형 등 모델 비교가 필요한 거의 모든 분야에서 표준적인 모델 선택 절차로 자리 잡고 있습니다.

논문에서는 이렇게 쓰입니다

"변수를 단계적으로 추가한 세 가지 모형을 비교한 결과, AIC와 BIC가 모두 가장 낮은 모형 2를 최종 모형으로 선정하였다."

이 문장은 여러 후보 모델 중 설명력과 복잡도를 함께 저울질했을 때 가장 균형 잡힌 모델을 골랐다는 뜻입니다.

"시계열 자료의 자기회귀 차수를 결정하기 위해 AIC를 기준으로 여러 차수의 모형을 비교한 결과, 3차 모형이 가장 낮은 값을 보였다."

이 문장은 시계열 분석 맥락에서, 과거 몇 시점까지의 값을 모형에 포함시킬지(차수)를 정보기준을 이용해 체계적으로 결정했다는 의미입니다.

"잠재계층분석에서 계층 수를 2개에서 5개까지 늘려가며 BIC 값을 비교한 결과, 계층 수가 3개일 때 가장 낮은 값을 나타내어 최적 모형으로 채택하였다."

이 문장은 심리측정·사회과학 연구에서, 눈에 보이지 않는 잠재적 집단의 수를 몇 개로 설정할지를 정보기준을 이용해 결정한 사례를 보여줍니다.

조금 더 깊게 보면

AIC(Akaike Information Criterion)와 BIC(Bayesian Information Criterion)는 모두 모형의 적합도에 복잡도 페널티를 더하는 방식이지만, 페널티를 계산하는 방식이 다릅니다. BIC는 표본 크기가 커질수록 페널티가 더 커지도록 설계되어 있어 일반적으로 AIC보다 더 단순한(변수가 적은) 모형을 선호하는 경향이 있다고 알려져 있습니다. 이 때문에 두 지표가 서로 다른 모형을 최선으로 지목하는 경우가 흔히 발생하며, 연구 목적이 예측 성능 중심인지 실제 모형 구조를 찾는 것인지에 따라 어느 기준을 우선할지가 달라지기도 합니다.

주의할 점

AIC와 BIC는 값 자체의 절대적인 크기가 아니라 후보 모델들 사이의 "상대적인 비교"에만 의미가 있습니다. 또한 BIC는 표본크기가 클수록 복잡한 모델에 더 강한 페널티를 주기 때문에, 같은 데이터라도 AIC와 BIC가 서로 다른 모델을 "최선"으로 고를 수 있다는 점을 알아야 하며, 결정계수처럼 설명력만 보는 지표와는 목적이 다릅니다.