Was ist, wenn wir Sequenzdaten in das Feedforward-Netzwerk eingeben?
Ein Hauptvorteil von RNN ist die Fähigkeit, Eingaben mit variabler Länge wie im Fall von Sequenzen vorzunehmen. Was wäre jedoch, wenn wir diesen Fall vernachlässigen und einige Anwendungen annehmen würden, die möglicherweise ein festes Eingabefenster akzeptieren? Zum Beispiel die Wettervorhersage. Wir können beispielsweise die Temperatur der letzten 300 Tage eingeben, damit das Netzwerk die neue Temperatur vorhersagen kann. Wir können dieses Fenster von 300 die ganze Zeit korrigieren, so dass wir eine Eingabe mit fester Länge haben.
Meine Frage ist nun, was ist, wenn wir in diesem Fall die RNN vernachlässigen und dieses Fenster von 300 Tagen in ein Feedforward-Netzwerk mit 300 Eingabedimensionen und einer Ausgabe eingeben, die eine Regression dafür durchführt? Was wird die Ausgabe im Vergleich zu RNN sein? Mit anderen Worten, warum sollte ich in diesem Fall RNN verwenden?
Antworten
Eine RNN mit endlicher Impulsantwort (FIR) kann als gerichteter azyklischer Graph (DAG) ausgedrückt werden, daher kann sie als FFNN dargestellt werden. In dieser Situation könnten Sie also theoretisch eine äquivalente FFNN zu einer RNN erstellen.
In Bezug auf die Leistung zwischen nicht äquivalenten Modellen wäre ein RNN wahrscheinlich besser, da sie von Natur aus für sequentielle Daten ausgelegt sind. Im Fall der Wetterstatistik-Vorhersage müsste die zeitliche Natur der Sequenzelemente von einem FFNN gelernt werden, während ein RNN eingebautes Wissen über solche Beziehungen hätte. Das RNN wäre auch in der Lage, den "Speicher" über die gemeinsamen Ansteuerungsmechanismen, wie sie in LSTMs und dergleichen zu sehen sind, leichter zu nutzen.
Es hängt alles von der Art der Daten in Bezug auf die Etiketten ab.
Wenn Sie zum Beispiel die Eingabesequenz nur entsprechend klassifizieren müssen, um die Werte an bestimmten festen Punkten zu kennen, kann ein bloßes mehrschichtiges Perzeptron (MLP) ausreichen.
Wenn es jedoch zur richtigen Klassifizierung erforderlich wäre, einen Blick auf die Trends zu werfen, würde sich der MLP möglicherweise nicht so gut verhalten (dies würde natürlich von den tatsächlichen Daten abhängen).
Wenn dies der Fall sein könnte, hängen die Beschriftungen von einigen lokalen Mustern in den Tageswerten ab. In diesem Fall könnte ein 1D-Faltungsnetzwerk möglicherweise gut funktionieren, da die lokale Mustererkennung genau ihre induktive Vorspannung ist.
Die induktive Vorspannung wiederkehrender Netzwerke ist von Natur aus sequentiell und daher gut, wenn die Vorhersage erhalten werden kann, wenn Wert für Wert betrachtet wird. Natürlich verwenden Menschen aufgrund des Problems des verschwindenden Gradienten normalerweise LSTMs oder GRUs anstelle von Vanille-RNNs.
Schließlich sind Selbstaufmerksamkeitsnetzwerke, die vorwärtsgerichtet sind, derzeit der Stand der Technik in der Verarbeitung natürlicher Sprache. Diese getarnten graphischen neuronalen Netze können im Allgemeinen bessere Textdarstellungen als LSTMs erhalten.
Also zusammenfassend : es ist durchaus möglich , ein Feedforward - Netz auf sequenzielle Daten zu verwenden.