LDA

Un esempio di riduzione delle dimensioni del problema a scopo di classificazione è la Analisi di Discriminante Lineare Linear Discriminant Analysis (Fisher, 1936).

Se si analizza il funzionamento di PCA (sezione 2.10.1), questa tecnica si limita a massimizzare l'informazione non distinguendo tra loro le eventuali classi che compongono il problema: PCA non considera il fatto che i dati siano rappresentativi di diverse categorie. PCA non è un vero classificatore ma è una tecnica utile a semplificare il problema, riducendone le dimensioni. LDA cerca invece di massimizzare sia l'informazione discriminatoria tra le classi che l'informazione rappresentata dalla varianza.

Figura 4.2: Analisi di Discriminante Lineare.

Nel caso di un problema di due classi, il miglior classificatore bayesiano è quello che permette di individuare il margine di decisione (decision boundary) formato dall'ipersuperficie lungo la quale la probabilità condizionata delle due classi è uguale.

Se si forza l'ipotesi che le due classi del problema binario abbiano distribuzione gaussiana multivariata e uguale matrice di covarianza $\mathbf{\Sigma}$ è facile dimostrare che il margine di decisione bayesiano, equazione (4.11), diventa lineare.

In LDA viene fatta pertanto l'ipotesi di omoschedasticità e, sotto questa ipotesi, si vuole ottenere un vettore $\mathbf{w}$ che permetta di proiettare lo spazio n-dimensionale degli eventi in uno spazio scalare che però massimizzi la separazione tra le classi e permetta di separarle linearmente attraverso un margine di separazione del tipo

$$\mathbf{w}^{\top}\mathbf{x} = c$$ (4.13)

Per determinare questa superficie di separazione si possono usare diverse metriche. Sotto il termine LDA attualmente confluiscono diverse tecniche dove la Discriminante di Fisher (Fisher's Linear Discriminant Analysis) risulta la più diffusa in letteratura.

Si può dimostrare che la proiezione che massimizza la separazione tra le due classi dal punto di vista “statistico”, ovvero l'iperpiano di decisione, si ottiene con

$$\mathbf{w} = \mathbf{\Sigma} ^{-1} (\boldsymbol\mu_1 - \boldsymbol\mu_2)$$ (4.14)

e il valore di separazione ottimo si trova a metà strada tra le proiezioni delle due medie

$$c = \mathbf{w} (\boldsymbol\mu_1 - \boldsymbol\mu_2) / 2$$ (4.15)

nel caso in cui le probabilità a priori dei due insiemi siano identiche.

Questo margine di decisione è la soluzione alla massima verosomiglianza in caso di due classi con distribuzione uniforme e stessa covarianza.