Classificatori Binari

Un particolare caso, molto diffuso, di classificatore è quello di classificatore binario. In questo caso il problema consiste nel cercare una relazione che leghi il training-set $S=\{ (\mathbf{x}_1, y_1) \ldots (\mathbf{x}_l, y_l) \} \in (\mathbb{X} \times \mathbb{Y})$ dove $\mathbb{X} \subseteq \mathbb{R}^{n}$ è il vettore che raccoglie le informazioni da usare per l'addestramento e $\mathbb{Y}=\{+1,-1\}$ lo spazio delle classi associate.

Esempi di classificatori intrinsecamente binari sono:

LDA

la Linear Discriminant Analysis (sezione 4.3) è una tecnica che permette di trovare il piano di separazione tra le classi che massimizza la distanza tra le distribuzioni;

Decision Stump

Gli alberi di decisione a un solo livello hanno solo due possibili uscite;

SVM

le Macchine a Vettori di Supporto Support Vector Machines (sezione 4.4) partizionano, massimizzando il margine, lo spazio delle feature usando iperpiani o semplici superfici.

Un particolare interesse ricoprono i classificatori lineari (LDA e SVM-Lineare) i quali, per risolvere il problema di classificazione binaria, individuano un iperpiano $(\mathbf{w},b)$ di separazione tra le due classi.

L'equazione di un iperpiano, modificando leggermente la formula (1.49), è

$$\mathbf{w} \cdot \mathbf{x} + b = 0$$ (4.4)

dove il vettore normale $\mathbf{w}$ può anche non essere di norma unitaria. Un iperpiano divide lo spazio in due sottospazi dove l'equazione (4.4) ha segno opposto. La superficie di separazione è un iperpiano che divide lo spazio in due sotto parti rappresentanti le due categorie della classificazione binaria.

Un classificatore lineare è basato su una funzione discriminante

$$f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b$$ (4.5)

Il vettore $\mathbf{w}$ è chiamato weight vector ed il termine $b$ è chiamato bias. I classificatori lineari assumono una certa importanza in quanto, attraverso la proiezione lungo l'asse $\mathbf{w}$, trasformano il problema da multidimensionale a scalare.

Il segno della funzione $f(\mathbf{x})$ rappresenta il risultato della classificazione. Un iperpiano di separazione equivale ad individuare una combinazione lineare degli elementi $\mathbf{x} \in \mathbf{X}$ in modo da ottenere

$$\hat{y} = \sgn ( \mathbf{w} \cdot \mathbf{x} + b )$$ (4.6)