피셔정보량 (Fisher Information)
쉽게 풀면
우도함수의 그래프가 뾰족한 봉우리를 가질수록 그 자료는 모수에 대해 '확신에 찬' 정보를 담고 있는 것이고, 완만하고 평평할수록 정보가 적다고 볼 수 있다. 피셔정보량은 이 뾰족한 정도를 수학적으로(로그우도함수의 이차미분을 이용해) 계산한 값으로, 정보량이 클수록 모수를 더 정확하게(작은 분산으로) 추정할 수 있음을 의미한다. 실험을 설계할 때 어떤 설계가 더 많은 정보를 주는지 비교하는 데도 활용된다.
왜 중요한가
피셔정보량은 최대우도추정의 정밀도를 이론적으로 뒷받침하는 개념이라, 통계학·계량경제학·생물통계학 등 모형 기반 추정을 다루는 거의 모든 분야의 논문에서 표준오차와 신뢰구간을 산출하는 근거로 쓰입니다. 또한 실험을 어떻게 설계해야 더 적은 표본으로도 정확한 추정이 가능한지를 판단하는 실험설계(최적설계) 연구에서도 핵심적인 기준이 됩니다.
논문에서는 이렇게 쓰입니다
최대우도추정량의 분산이나 표준오차를 근사적으로 계산할 때, 그리고 실험설계의 효율성을 비교할 때 사용된다.
약물동태학 및 임상시험 분야의 예문으로, 한정된 횟수의 혈액 채취로 최대한 많은 정보를 얻기 위해 채취 시점 자체를 피셔정보량 기준으로 설계했다는 의미입니다.
기계학습 분야에서 흔히 쓰이는 표현으로, 손실함수의 곡률(민감도)을 파악해 최적화 알고리즘의 수렴 특성이나 모델의 일반화 성능을 분석했다는 뜻입니다.
조금 더 깊게 보면
피셔정보량은 크라메르-라오 하한(Cramér-Rao lower bound)과 직결되는 개념으로, 어떤 불편추정량도 분산이 피셔정보량의 역수보다 작을 수 없다는 이론적 한계를 제공합니다. 즉 피셔정보량이 클수록 이론상 도달 가능한 최소 분산이 작아져 더 정밀한 추정이 가능하다는 뜻입니다. 모수가 여러 개인 경우에는 스칼라가 아니라 피셔정보량 행렬로 확장되며, 이 행렬의 역행렬 대각원소가 각 모수 추정량의 근사 분산을 나타냅니다. 다만 이러한 성질은 표본 크기가 충분히 크다는 점근적(asymptotic) 가정 하에 성립한다는 점도 함께 이해해두면 좋습니다.
주의할 점
피셔정보량은 모형이 올바르게 설정되었다는 전제 하에 의미를 가지며, 모형이 잘못되면 계산된 정보량도 왜곡된다.