Czy ten diagram przedstawia kilka LSTM, czy jeden do kilku etapów czasowych?

Nov 23 2020

Próbuję przeczytać ten artykuł opisujący architekturę Google LSTM do tłumaczenia maszynowego. Przedstawia ten schemat na stronie 4:

Interesuje mnie blok enkodera po lewej stronie. Najwyraźniej różowe i zielone komórki to LSTM. Jednak nie mogę powiedzieć, czy oś X to przestrzeń czy czas. To znaczy, czy komórki LSTM w danym wierszu są tą samą komórką, a czas płynie do przodu od lewej do prawej? Schemat na następnej stronie artykułu wydaje się to sugerować.

Odpowiedzi

1 Djib2011 Nov 24 2020 at 22:39

czy komórki LSTM w danym wierszu są tą samą komórką, a czas płynie do przodu od lewej do prawej?

tak, to jest poprawne

Oś X na tej figurze jest w zasadzie osią czasu . Zasadniczo wszystkie różowe pola w tym samym wierszu to ta sama komórka LSTM, z różnymi danymi wejściowymi z tej samej sekwencji. W każdym kroku komórka pobiera dane wejściowe i generuje dane wyjściowe, które są przekazywane do następnej warstwy. Na ósmej warstwie dane wyjściowe ze wszystkich kroków czasowych są wprowadzane w tym samym czasie do warstwy uwagi.