ReLU supera Softplus

Question

Ho notato che i modelli PyTorch funzionano significativamente meglio quando ReLU viene utilizzato al posto di Softplus con Adam come ottimizzatore.

Come può accadere che una funzione non differenziabile sia più facile da ottimizzare di una analitica? È vero, quindi, che non esiste un'ottimizzazione del gradiente tranne che nel nome, e una sorta di calcolo combinatorio viene utilizzato sotto il cofano?

Answer 1

ReLU in generale è noto per superare molte funzioni di attivazione più fluide. È facile da ottimizzare, perché è semilineare. Il vantaggio quando lo si utilizza di solito è la velocità, quindi può accadere che se si aspettassero più iterazioni, si utilizzassero velocità di apprendimento, dimensioni di batch o altri iperparametri differenti, ecc., Si otterrebbero risultati simili.