Generalizzare l'addestramento

È importante osservare che le tecniche di Machine Learning sono molto di più di discorso di mera ottimizzazione. Uno degli obiettivi che ci si pone durante l'addestramento è fare in modo che il sistema sia capace di classificare nuovi campioni che ancora non ha visionato. Una via per combattere l'overfitting è la “regolarizzazione”. Esistono diverse tecniche in letteratura per la regolarizzazione: le principali sono la regolarizzazione L1/L2 e l'uscita anticipata (early-stopping).