Il limite di Cramer-Rao

Il limite di Cramer-Rao (Cramer-Rao Lower Bound CRLB) stabilisce un limite inferiore per la varianza di ogni stimatore corretto del parametro $\theta$ (per mantenere una simbologia comune con la letteratura, $\beta$ nel nostro caso).

Sia $X$ una variabile aleatoria multidimensionale e $\theta$ un parametro deterministico sconosciuto. Sia $f^{\vartheta}_{x} (X)$ la densità di probabilità di $X$ dato $\theta$. Assumiamo che tale densità di probabilità esista e sia due volte differenziabile rispetto a $\theta$.

Teorema 1 (Disuguaglianza di Cramer-Rao)   Sia $T(\cdot)$ uno stimatore corretto del parametro scalare $\vartheta$, e si supponga che lo spazio delle osservazioni $X$ sia indipendente da $\theta$. Allora (sotto alcune ipotesi di regolarità...)

$$E^\theta \left[ \left( T(X) - \theta \right)^2 \right] \ge \left[ I_n(\theta) \right]^{-1}$$ (3.1)

dove $I_n(\theta)=E^{\theta} \left[ \left( \frac{\partial \ln f^{\theta}_{x} (X) }{\partial \theta} \right)^2 \right]$ (quantità di Informazione di Fisher).

Siccome il parametro $\theta$ non è conosciuto il teorema di Cramer-Rao permette solo di capire se lo stimatore è ottimo o meno.