Optimasi Linear Autoencoder dengan SGD

Question

Saya tertarik dengan Linear Autoencoder (LAE), dan saya tahu bahwa, pada titik konvergensi, subruang yang dipelajari LAE sama dengan subruang yang dipelajari PCA hingga transformasi linier. Selain itu, fungsi kerugian memiliki titik sadel, dan nilai minimum lokalnya menjadi minimum global. Di sini, pengaturan masalah seperti yang dibahas dalam "Jaringan Neural dan Analisis Komponen Utama: Belajar dari Contoh Tanpa Minima Lokal" (1989) (http://www.vision.jhu.edu/teaching/learning/deeplearning19/assets/Baldi_Hornik-89.pdf)

Tampaknya fakta-fakta teoretis itu dipelajari dan diturunkan pada akhir 1980-an dan 1990-an karena kendala komputasi pada masa itu, dan saya bersyukur mendapatkan hasil tersebut. Namun, saya juga tertarik dengan sisi praktisnya. Lebih tepatnya, saya ingin tahu tentang tingkat konvergensi dan cara LAE memulihkan subruang utama (yaitu arah utama mana yang cenderung dipelajari lebih cepat daripada yang lain) ketika menggunakan algoritma SGD biasa.

Tahukah Anda jika ada karya yang berhubungan dengan topik tersebut? Meskipun saya menemukan beberapa artikel yang berkaitan dengan itu, mereka berfokus pada jaringan saraf yang berbeda, bukan pada LAE.

Answer 1

Saya pikir Anda akan menemukan makalah ini bermanfaat: D. Kunin et al., " Loss Landscapes of Regularized Linear Autoencoders (2019). Penulis membahas konvergensi autoencoder linier ke subruang utama dan bagaimana regularisasi memungkinkan pemulihan komponen utama yang sebenarnya (bukan hanya subruang).

Anda mungkin juga menemukan makalah ini bermanfaat: E. Plaut, Dari Subruang Utama ke Komponen Utama dengan Linear Autoencoders (2018). Makalah ini memberikan pengenalan rinci tentang LAE dan hubungannya dengan PCA.