Was genau bedeutet das Verschwinden des Gradientenproblems? [Duplikat]

Question

Ich mache gerade ein paar Sachen mit ML und habe ein LSTM-Modell erstellt, um Aktivitäten wie Gehen oder Laufen zu erkennen. Ich habe gelesen, dass LSTM Vorteile gegenüber herkömmlichen RNNs hat, da es das Problem des verschwindenden Gradienten angeht.

Könnten Sie es mir bitte anhand eines einfachen Beispiels erklären?

Answer 1

Das Problem des verschwindenden Gradienten: ^{[ 1 ]}

Wenn mehr Schichten, die bestimmte Aktivierungsfunktionen verwenden, zu neuronalen Netzen hinzugefügt werden, nähern sich die Gradienten der Verlustfunktion Null, was es schwierig macht, das Netz zu trainieren.

Der Grund, warum wiederkehrende neuronale Netze (RNN) unter dem Problem des verschwindenden Gradienten leiden, liegt in der Art der zeitlichen Rückausbreitung. ^{[ 2 ]}

• Ein ungerolltes RNN ist in der Regel ein sehr tiefes Netzwerk.
• In einem ungerollten RNN ist der Gradient in einer frühen Schicht ein Produkt, das (auch) viele Instanzen desselben Begriffs enthält.

Neuronale Netze mit langem Kurzzeitgedächtnis (LSTM) lösen das Problem des verschwindenden Gradienten, indem Netzwerkzellen einen Teil ihres zuvor gespeicherten Speichers vergessen können.

Eine kurze mathematische Zusammenfassung finden Sie unter Wie verhindert LSTM das Problem des verschwindenden Gradienten? .

Siehe auch

• Was ist verschwindender Gradient?
• Warum neigen RNNs dazu, unter einem verschwindenden / explodierenden Gradienten zu leiden?
• Das verschwindende Gradientenproblem Das Problem, seine Ursachen, seine Bedeutung und seine Lösungen
• Verschwindendes Gradientenproblem

---

^[1] Wang, Chi-Feng. "Das verschwindende Gradientenproblem: Das Problem, seine Ursachen, seine Bedeutung und seine Lösungen." in Richtung Datenwissenschaft. Verfügbar ab:https://towardsdatascience.com/the-vanishing-gradient-problem-69bf08b15484.

^[2] Milman, Oren . Antwort auf die Frage: "Warum neigen RNNs dazu, unter einem verschwindenden / explodierenden Gradienten zu leiden?" Cross Validated (eine Stack Exchange-Site). Verfügbar ab:https://stats.stackexchange.com/a/370732/295223.