Valutazione delle prestazioni

Dato un classificatore addestrato su un determinato insieme di addestramento (Training Set) è necessario valutarlo su un altro insieme (Validation Set o Certification Set). Da questo confronto è possibile estrarre degli indici che permettono di valutare il classificatore e permettono di confrontare diversi classificatori tra loro. È assolutamente indispensabile che gli indici di prestazione vengano calcolati su un insieme di campioni non usati durante la fase di addestramento (il validation set) in modo da rilevare problemi come l'overfitting dei dati ovvero la mancata generalizzazione.

Fissati i parametri del classificatore si può creare la tabella di contingenza (Confusion Matrix):

		Valore Vero
		p	n
Classificazione	p'	VP	FP
		n'	FN

I Falsi Positivi (FP) vengono indicati anche come Falsi Allarmi. I Falsi Negativi (FN) come miss.

Dalla tabella vengono normalmente estratti alcuni valori di prestazione, come:

• Accuracy è il rapporto tra il Numero di Predizioni Corrette sul Numero totale di predizioni = (VP+VN)/(VP+VN+FN+FP);
• Error Rate è il Numero totale di predizioni errate sul Numero totale di predizioni = (FP+FN) / (VP+VN+FN+FP);
• Precision (o specificity o PPV) è la probabilità che un positivo ritornato dal classificatore sia corretto = VP / (VP+FP);
• Recall (o hit-rate o TPR) è la percentuale di positivi riconosciuti correttamente = VP / (VP+FN);
• Miss-Rate o FNR è l'opposto della Recall = 1-Recall = FN/(VP+FN).

Ogni classificatore ha uno o più parametri che, se modificati, cambiano il rapporto tra i riconoscimenti corrette e il numero di falsi positivi. Risulta pertanto difficile poter confrontare in maniera obiettiva due classificatori perché magari uno presenta, a parità di tale soglia, un numero di individuazioni corrette più elevato dell'altro ma magari un numero più alto di falsi positivi. Per confrontare pertanto le prestazioni di diversi classificatori binari ottenuti da diverse sessioni di addestramento si fa normalmente uso di curve al variare di questa soglia interna del classificatore.

Le curve di prestazioni che si possono trovare sono

• La curva ROC (Receiver Operating Characteristic) è un grafico cartesiano dove lungo le ascisse è indicato il numero di falsi positivi (percentuali FPR, per fotogramma o assoluti) e in ordinata è presente la percentuale di corretti riconoscimenti (True Positive Rate TPR), generati dal classificatore al variare della soglia. Ogni classificatore per essere definito tale deve avere una curva ROC migliore del classificatore casuale, ovvero la retta che congiunge i punti $(0,0)$ e $(1,1)$ del grafico ROC.
• Precision-Recall (PRC) che concentra l'analisi principalmente sui positivi. L'area sotto la PRC è chiamata Average Precision (AP). In problemi reali di detection il numero di Veri Negativi sono altissimi e perciò è necessario concentrarsi sui falsi positivi. La curva PRC ha il grosso vantaggio di nascondere la scala dei Falsi Positivi: normalmente infatti questi sono indicati per fotogrammi, per minuto, o su un altra unità di misura.
• Detection error Tradeoff (DET) che permette di rappresentare sugli assi gli errori negativi (miss) e gli errori positivi (false alarm). È una curva che concentra l'analisi puramente sugli errori.

È infine da notare che questi indici si riferiscono a qualunque classe di problemi che contempli il concetto di risultato corretto o sbagliato. È pertanto applicabile non solo ai classificatori, ma per esempio alle associazioni di punti caratteristici e altro ancora.

Recentemente, per poter fare un confronto più snello per le prestazioni di un classificatore, sono state proposte delle funzioni che applicate alle curve ROC permettono di ricavare un unico scalare rappresentante un voto della bontà di classificazione. Tali funzioni sono solitamente delle medie di campionamenti della curva ROC nelle sole zone di interesse pratico.