Il classificatore bayesiano

Attraverso l'approccio bayesiano, sarebbe possibile costruire un classificatore ottimo se si conoscessero in maniera perfetta sia le probabilità a priori $p(y_i)$, sia le densità condizionate alla classe $p(x\vert y_i)$. Normalmente tali informazioni sono raramente disponibili e l'approccio adottato è quello di costruire un classificatore da un insieme di esempi (training set).

Per modellare $p(x\vert y_i)$ si utilizza normalmente un approccio parametrico e quando possibile, si fa coincidere tale distribuzione con quella di una gaussiana o con delle funzioni spline.

Le tecniche più usate per la stima sono la Maximum-Likelihood (ML) e la Stima Bayesiana che, sebbene differenti nella logica, portano a risultati quasi identici. La distribuzione gaussiana è normalmente un modello appropriato per la maggior parte dei problemi di pattern recognition.

Esaminiamo il caso abbastanza comune nel quale la probabilità delle varie classi è di tipo gaussiano multivariato di media $\boldsymbol\mu_i$ e matrice di covarianza $\boldsymbol\Sigma_i$. Il classificatore bayesiano ottimo è

$$\begin{array}{rl} \hat{y}(\mathbf{x}) = & \argmax_i p(\m... ...t \boldsymbol\Sigma_i - 2 \log \pi_i \right) \\ \end{array}$$ (4.11)

usando la negative log-likelihood (sezione 2.8). Nel caso di probabilità a priori $\pi_i$ uguali, l'equazione (4.11) coincide con il problema di cercare il minimo della distanza di Mahalanobis (sezione 2.4) tra le classi del problema.