Problemas, que são difíceis para SGD

Question

Estou fazendo algumas pesquisas sobre problemas para os quais a descida gradiente estocástica não funciona bem. Freqüentemente, o SGD é mencionado como o melhor método para o treinamento de redes neurais. No entanto, eu também li sobre métodos de segunda ordem e, apesar da melhor taxa de convergência, às vezes é mencionado que há problemas, para os quais os métodos de segunda ordem são muito melhores do que SGD, pois SGD fica preso em algum ponto ou converge muito lentamente .

Infelizmente não consegui encontrar muitas informações sobre isso.

Alguém conhece exemplos para os quais SGD tem problemas? Ou você conhece artigos que falam algo sobre este assunto? Também artigos, que apenas explicam, por que o SGD às vezes emperra seriam ótimos.

Answer 1

Os métodos de segunda ordem usam mais informações sobre a função de perda (ela calcula duas ordens de derivada em vez de apenas uma) e, portanto, a aproxima melhor e tem uma convergência melhor.

Não ajuda muito a superar os mínimos locais, mas deve levar menos etapas para convergir.

A razão pela qual não é usado para redes neurais é que cada etapa tem uma complexidade de $\mathcal O(p^2)$, Onde $p$ é o número de parâmetros, por isso usamos para modelos lineares (poucos parâmetros), mas não para deep learning (muitos parâmetros), torna-se impraticável avaliar toda a matriz Hessiana, e SGD simples é mais rápido.