Problèmes difficiles pour SGD

Question

Je fais des recherches sur des problèmes pour lesquels la descente de gradient stochastique ne fonctionne pas bien. SGD est souvent mentionné comme la meilleure méthode pour la formation des réseaux de neurones. Cependant, j'ai également lu sur les méthodes de second ordre, et malgré le meilleur taux de convergence, il est parfois mentionné qu'il y a des problèmes, pour lesquels les méthodes de second ordre sont bien meilleures que SGD car SGD reste bloqué à un moment donné ou converge très lentement .

Malheureusement, je n'ai pas trouvé beaucoup d'informations à ce sujet.

Quelqu'un connaît-il des exemples pour lesquels SGD a des problèmes? Ou connaissez-vous des articles qui en disent long sur ce sujet? Des articles, qui expliquent seulement pourquoi SGD est parfois bloqué, seraient également formidables.

Answer 1

Les méthodes du second ordre utilisent plus d'informations sur la fonction de perte (elle calcule deux ordres de dérivée au lieu d'un seul), et donc elle se rapproche mieux et a une meilleure convergence.

Cela n'aide pas beaucoup à dépasser les minima locaux, mais il faudrait moins d'étapes pour converger.

La raison pour laquelle il n'est pas utilisé pour les réseaux de neurones est que chaque étape a une complexité de $\mathcal O(p^2)$, où $p$ est le nombre de paramètres, c'est pourquoi nous l'utilisons pour les modèles linéaires (peu de paramètres), mais pas pour le deep learning (beaucoup de paramètres), il devient peu pratique d'évaluer toute la matrice de Hesse, et le SGD simple est plus rapide.