옌센 부등식 (Jensen's Inequality)
한 줄 정의: 볼록함수에서는 기댓값의 함숫값이 함숫값의 기댓값보다 작거나 같다는 부등식입니다.
쉽게 풀면
함수가 아래로 볼록하면, 먼저 평균을 내고 함수에 넣은 값이 먼저 함수에 넣고 평균 낸 값보다 항상 작거나 같습니다. 오목함수에서는 부등호 방향이 반대가 됩니다. 등호는 함수가 직선이거나 변수가 상수일 때만 성립합니다.
왜 중요한가
평균을 취하는 순서를 바꾸면 값이 달라진다는 사실은 통계 전반에 영향을 미칩니다. 로그나 비율처럼 비선형 변환을 쓰는 지표의 해석, 추정량의 편향 논의, 정보이론의 여러 부등식이 모두 이 부등식에 기대고 있습니다.
논문에서는 이렇게 쓰입니다
"로그변환은 볼록성으로 인해 옌센 부등식에 따라 역변환한 평균이 산술평균보다 작아짐에 유의하였다."
변환 후 평균을 되돌리면 원래 평균과 같지 않음을 지적하는 문장입니다.
조금 더 깊게 보면
이 부등식은 쿨백-라이블러 발산이 항상 0 이상임을 보이는 데 쓰이고, 변분추론에서 로그주변우도의 하한을 유도하는 핵심 도구이기도 합니다. 최대우도추정량이 불변성을 가지면서도 비선형 함수의 추정에서 편향이 생기는 이유도 같은 원리로 설명됩니다. 산술평균이 조화평균이나 기하평균보다 크거나 같다는 익숙한 결과도 이 부등식의 특수한 경우입니다.
주의할 점
부등호의 방향은 함수가 볼록인지 오목인지에 달려 있으므로 변환의 형태를 먼저 확인해야 합니다. 확률변수의 흩어짐 정도를 상한으로 억제하는 집중부등식과 달리, 이 부등식은 평균과 변환의 순서에 관한 관계를 말합니다.