Naive Bayes

Normalmente con una sola caratteristica estratta dall'oggetto da classificare non è possibile ottenere una precisione elevata di classificazione. Fortunatamente le caratteristiche che si possono estrarre da una immagine sono molteplici.

Siano indicate con $x_j$, con $j=1,\ldots,m$ tali caratteristiche. È molto importante notare che gli eventi osservati $x_j$ con cui costruire il classificatore bayesiano devono essere eventi indipendenti (indipendenza condizionale), altrimenti il teorema di Bayes non risulta più valido (uno dei limiti dei classificatori bayesiani): per esempio non si possono unire classificatori che analizzino parti dell'immagine in comune o non si può unire lo stimatore “è arancione” insieme a “è non rosso”.

L'assunzione Naive Bayes (o idiot Bayes) sfrutta l'ipotesi semplificativa di indipendenza degli attributi (feature) osservati: in questo caso date $m$ variabili osservate $x_1 \ldots x_m$ la probabilità che l'evento $y_i$ si verifichi sarà:

$$p( x_1 \ldots x_m \vert y_i) = \prod^{m}_{j=1} p(x_j \vert y_i)$$ (4.12)