ReLU supera a Softplus
Oct 17 2020
He notado que los modelos de PyTorch funcionan significativamente mejor cuando se usa ReLU en lugar de Softplus con Adam como optimizador.
¿Cómo puede suceder que una función no diferenciable sea más fácil de optimizar que una analítica? ¿Es cierto, entonces, que no hay optimización de gradiente excepto en el nombre, y se usa algún tipo de combinatoria bajo el capó?
Respuestas
1 Tim Oct 17 2020 at 17:59
En general, se sabe que ReLU supera muchas funciones de activación más suaves. Es fácil de optimizar porque es semilineal. La ventaja al usarlo suele ser la velocidad, por lo que puede darse el caso de que si esperas más iteraciones, usas diferentes tasas de aprendizaje, tamaños de lote u otros hiperparámetros, etc., obtendrás resultados similares.