크라메르-라오 하한 (Cramér-Rao Lower Bound)
쉽게 풀면
아무리 좋은 추정 방법을 고안하더라도, 편향이 없는 추정량의 분산은 일정 수준 이하로는 절대 작아질 수 없다는 이론적 한계를 알려주는 공식이다. 이 하한은 자료가 모수에 대해 얼마나 많은 정보를 담고 있는지를 나타내는 피셔정보량의 역수로 계산된다. 어떤 추정량의 분산이 이 하한과 같다면, 그 추정량은 이론적으로 가장 효율적인 추정량이라고 말할 수 있다.
왜 중요한가
크라메르-라오 하한은 추정 문제에서 도달 가능한 이론적 성능의 한계를 알려주기 때문에, 통계학은 물론 신호처리, 통신공학, 센서 네트워크 등 파라미터 추정이 필요한 여러 공학 분야 논문에서 새 추정량의 효율성을 평가하는 기준으로 널리 쓰입니다. 제안한 추정량의 분산이 이 하한에 얼마나 가까운지를 보이면 그 추정량의 우수성을 정량적으로 뒷받침할 수 있습니다.
논문에서는 이렇게 쓰입니다
새로운 추정량이 이론적으로 최적에 얼마나 가까운지를 평가하는 벤치마크로 사용된다.
신호처리·통신 분야에서 위치추정이나 신호 파라미터 추정 알고리즘의 성능 한계를 논할 때 자주 쓰이는 표현입니다.
조금 더 깊게 보면
크라메르-라오 하한은 로그우도함수의 이차미분의 기댓값으로 정의되는 피셔정보량에 반비례하며, 자료가 모수에 대해 정보를 많이 담고 있을수록(피셔정보량이 클수록) 하한값은 작아져 더 정밀한 추정이 이론적으로 가능해집니다. 표본 크기가 커질수록 최대우도추정량의 분산이 이 하한에 점근적으로 가까워진다는 성질이 있어, 하한과의 비교는 추정량의 점근적 효율성을 평가하는 표준적인 방법으로 쓰입니다. 다만 하한이 항상 실제로 달성 가능한 것은 아니며, 유한 표본에서는 이 한계에 도달하지 못하는 경우도 많습니다.
주의할 점
이 하한은 불편추정량에 대해서만 성립하며, 편향을 허용하는 추정량은 이 하한보다 더 작은 분산을 가질 수도 있다.