Ce diagramme représente-t-il plusieurs LSTM, ou un à plusieurs pas de temps?

Nov 23 2020

J'essaie de lire cet article décrivant l'architecture LSTM de Google pour la traduction automatique. Il présente ce diagramme à la page 4:

Je suis intéressé par le bloc encodeur, à gauche. Apparemment, les cellules roses et vertes sont des LSTM. Cependant, je ne peux pas dire si l'axe des x est l'espace ou le temps. Autrement dit, les cellules LSTM sur une ligne donnée sont-elles toutes la même cellule, le temps s'écoulant de gauche à droite? Le diagramme de la page suivante du document semble le suggérer.

Réponses

1 Djib2011 Nov 24 2020 at 22:39

les cellules LSTM sur une ligne donnée sont-elles toutes la même cellule, le temps s'écoulant de gauche à droite?

Oui c'est correct

L'axe des x sur cette figure est essentiellement l' axe du temps . Essentiellement, toutes les cases roses de la même ligne sont la même cellule LSTM, avec des entrées différentes de la même séquence. À chaque pas de temps, la cellule prend une entrée et produit une sortie qui est transmise à la couche suivante. Au niveau de la 8ème couche, les sorties de tous les pas temporels sont entrées en même temps dans la couche d'attention.