베이지안 정보기준 (Bayesian Information Criterion (BIC))

한 줄 정의: 모형의 적합도와 복잡성(모수 개수)을 함께 고려하여 여러 통계모형 중 가장 적절한 모형을 비교하는 지표.

쉽게 풀면

복잡한 모형일수록 자료에 더 잘 들어맞는 것처럼 보이지만, 지나치게 복잡하면 오히려 새로운 자료에는 잘 맞지 않을 수 있다. BIC는 모형이 자료에 얼마나 잘 맞는지와 함께 모수가 몇 개나 쓰였는지를 동시에 고려해서, 값이 가장 작은 모형을 상대적으로 더 좋은 모형으로 선택하도록 도와주는 지표다. 표본이 클수록 모형의 복잡성에 더 엄격한 벌점을 부과하는 특징이 있다.

왜 중요한가

연구자가 여러 개의 후보 모형을 세워두고 그중 어느 것이 자료를 가장 잘 설명하는지 결정해야 하는 상황은 통계 분석 전반에서 흔히 마주친다. BIC는 이런 모형 선택 문제에서 적합도와 복잡성 사이의 균형을 정량적 지표 하나로 제공하기 때문에, 요인분석·잠재계층분석·회귀모형 비교 등 다양한 하위 분야의 논문에서 모형을 정당화하는 근거로 자주 등장한다. 특히 표본 크기가 큰 연구일수록 과적합을 피하려는 목적에서 BIC 같은 벌점 기반 지표의 중요성이 커진다.

논문에서는 이렇게 쓰입니다

"BIC 값을 비교한 결과 2요인 모형이 3요인 모형보다 더 적합한 것으로 나타났다."

두 개의 통계모형 중 BIC 수치가 더 작게 나온 2요인 모형을 상대적으로 더 나은 모형으로 판단했다는 뜻이다.

"잠재계층분석에서 계층 수를 1개부터 5개까지 순차적으로 늘려가며 BIC를 산출한 결과, 3개 계층 모형에서 BIC가 가장 낮게 나타나 최종 모형으로 선정하였다."

계층(클래스) 수가 다른 여러 모형을 비교할 때, BIC가 가장 작은 지점을 최적의 계층 수로 결정하는 데 사용했다는 의미다.

"두 회귀모형의 설명력 차이는 크지 않았으나, BIC 기준으로는 변수가 더 적은 축소모형이 지지되어 최종적으로 이를 채택하였다."

설명력이 비슷한 모형들 사이에서 굳이 변수를 더 넣지 않아도 되는 간단한 모형을 BIC가 뒷받침해 주었다는 뜻이다.

조금 더 깊게 보면

BIC는 모형의 로그가능도에 모수 개수와 표본 크기에 비례하는 벌점 항을 더해 계산되며, 이 벌점이 표본 크기에 로그 형태로 비례한다는 점에서 AIC보다 복잡한 모형에 더 엄격한 편이다. 그래서 표본이 커질수록 BIC는 더 단순한 모형을 선호하는 경향을 보인다. 논문에서 BIC 차이를 해석할 때는 단순히 값이 작은 모형을 고르는 것을 넘어, 두 모형 간 BIC 차이의 크기를 바탕으로 증거의 강도를 정성적으로 판단하는 경우도 있으며, 이는 베이지안 관점에서 모형에 대한 사후 확률 비교와 연결된다는 점도 함께 이해해두면 좋다.

주의할 점

BIC와 아카이케 정보기준는 벌점을 부과하는 방식이 달라 서로 다른 모형을 최적이라고 지목할 수 있으므로, 어떤 기준을 왜 사용했는지 밝히는 것이 좋다.