Le funzioni di attivazione

La funzione di attivazione (activation function) del neurone artificiale trasforma i valori di ingresso nelle uscite. Funzioni di attivazione comuni sono

• gradino (Heaviside) $h(x) = \left\{ \begin{array}{ll} 1 & \text{if } x \geq 0 \\ 0 & \text{if } x < 0 \end{array}\right.$
• sigmoide $\sigma(x) = \frac{1}{1 + e^{-x}}$
• softsign $s(x) = \frac{1}{1 + \vert x\vert}$
• tangente iperbolica $\tanh(x) = \frac{e^{2x} - 1}{e^{2x} + 1}$
• rampa $r(x) = \max(0, x)$

Originariamente erano usate praticamente solo le funzioni di attivazioni sigmoidali (sigmoide e tangente iperbolica) ma di recente viene anche utilizzata la classe di funzioni rampa che, rispetto alle funzioni sigmoidali, sono funzioni non limitate. I Neuroni Artificiali con la funzione attivazione rampa sono definiti Rectified Linear Units (ReLUs) (KSH12).