Ottimizzazione di Linear Autoencoder con SGD

Question

Sono interessato al Linear Autoencoder (LAE) e sapevo che, al punto di convergenza, il subspazio LAE apprende è lo stesso del subspazio PCA apprende fino alle trasformazioni lineari. Inoltre, la funzione di perdita ha punti di sella ei suoi minimi locali diventano minimi globali. Qui, l'impostazione del problema è come discusso in "Neural Networks and Principal Component Analysis: Learning from examples Without Local Minima" (1989) (http://www.vision.jhu.edu/teaching/learning/deeplearning19/assets/Baldi_Hornik-89.pdf)

Sembra che questi fatti teorici siano stati studiati e derivati ​​alla fine degli anni '80 e '90 a causa dei vincoli computazionali di quei tempi, e sono grato di avere quei risultati. Tuttavia, mi interessa anche il suo lato pratico. Più concretamente, voglio conoscere il tasso di convergenza e il modo in cui la LAE recupera il sottospazio principale (cioè quale direzione principale tende ad essere appresa più velocemente delle altre) quando si utilizza il solito algoritmo SGD.

Sai se ci sono lavori legati a quell'argomento? Sebbene abbia trovato diversi articoli relativi a questo, si concentrano su diverse reti neurali, non su LAE.

Answer 1

Penso che troverai utile questo articolo: D. Kunin et al., " Loss Landscapes of Regularized Linear Autoencoders (2019). Gli autori discutono la convergenza degli autoencoder lineari al sottospazio principale e come la regolarizzazione consente il recupero delle componenti principali effettive (non solo il sottospazio).

Potresti anche trovare utile questo documento: E. Plaut, From Principal Subspaces to Principal Components with Linear Autoencoders (2018). Questo documento fornisce un'introduzione elaborata alla LAE e al loro rapporto con la PCA.