Reti Neurali Profonde

Nelle reti neurali tradizionali, per vari motivi, i pesi iniziali da cui far partire l'ottimizzazione sono assegnati in maniera normalmente casuale. Partendo da valori casuali, è facile intuire che reti a più strati funzioneranno sempre peggio rispetto invece a reti composte da soli 1 o 2 strati nascosti. Il problema fondamentale degli addestramenti delle reti neurali multistrato MLP con i metodi di discesa del gradiente è sempre stato quello dei minimi locali o di plateau. Il problema di codificare problemi molto complessi sfruttando reti neurali profonde è sempre stato critico e non di facile soluzione.