ReLU übertrifft Softplus
Ich habe festgestellt, dass PyTorch-Modelle eine deutlich bessere Leistung erzielen, wenn ReLU anstelle von Softplus mit Adam als Optimierer verwendet wird.
Wie kann es sein, dass eine nicht differenzierbare Funktion einfacher zu optimieren ist als eine analytische? Stimmt es also, dass es außer im Namen keine Gradientenoptimierung gibt und eine Art Kombinatorik unter der Haube verwendet wird?
Antworten
Es ist bekannt , dass ReLU im Allgemeinen viele reibungslosere Aktivierungsfunktionen übertrifft. Es ist einfach zu optimieren, da es halblinear ist. Der Vorteil bei der Verwendung ist normalerweise die Geschwindigkeit. Wenn Sie also mehr Iterationen abwarten, unterschiedliche Lernraten, Stapelgrößen oder andere Hyperparameter usw. verwenden, erhalten Sie ähnliche Ergebnisse.