Problemas que son difíciles para SGD
Estoy investigando algunos problemas para los que el descenso del gradiente estocástico no funciona bien. A menudo, SGD se menciona como el mejor método para el entrenamiento de redes neuronales. Sin embargo, también he leído sobre métodos de segundo orden y, a pesar de la mejor tasa de convergencia, a veces se menciona que hay problemas para los cuales los métodos de segundo orden son mucho mejores que SGD, ya que SGD se atasca en algún punto o converge muy lentamente. .
Desafortunadamente, no pude encontrar mucha información sobre eso.
¿Alguien sabe ejemplos en los que SGD tiene problemas? ¿O conoces artículos que cuenten algo sobre este tema? También los artículos que solo explican por qué SGD se atasca a veces serían geniales.
Respuestas
Los métodos de segundo orden usan más información sobre la función de pérdida (calcula dos órdenes de derivada en lugar de solo una), por lo que la aproxima mejor y tiene una mejor convergencia.
No ayuda mucho a superar los mínimos locales, pero debería tomar menos pasos para converger.
La razón por la cual no se usa para redes neuronales es que cada paso tiene una complejidad de $\mathcal O(p^2)$, dónde $p$ es la cantidad de parámetros, por eso lo usamos para modelos lineales (pocos parámetros), pero no para el aprendizaje profundo (muchos parámetros), se vuelve poco práctico evaluar toda la matriz de Hesse y el SGD simple es más rápido.