การเพิ่มประสิทธิภาพของ Linear Autoencoder ด้วย SGD

Question

ฉันสนใจ Linear Autoencoder (LAE) และฉันรู้ว่าที่จุดบรรจบพื้นที่ย่อย LAE เรียนรู้เหมือนกับที่ PCA พื้นที่ย่อยเรียนรู้ถึงการแปลงเชิงเส้น นอกจากนี้ฟังก์ชั่นการสูญเสียยังมีจุดอานและมินิมาในท้องถิ่นกลายเป็นมินิมาระดับโลก ในที่นี้การตั้งค่าปัญหามีดังที่กล่าวไว้ใน "Neural Networks and Principal Component Analysis: Learning from examples Without Local Minima" (1989) (http://www.vision.jhu.edu/teaching/learning/deeplearning19/assets/Baldi_Hornik-89.pdf)

ดูเหมือนว่าข้อเท็จจริงทางทฤษฎีเหล่านั้นได้รับการศึกษาและได้มาในช่วงปลายทศวรรษที่ 1980 และ 1990 เนื่องจากข้อ จำกัด ด้านการคำนวณในยุคนั้นและฉันรู้สึกขอบคุณที่ได้ผลลัพธ์เหล่านั้น อย่างไรก็ตามฉันยังสนใจในด้านที่ใช้งานได้จริง อย่างเป็นรูปธรรมฉันต้องการทราบเกี่ยวกับอัตราการลู่เข้าและวิธีที่ LAE กู้คืนพื้นที่ย่อยหลัก (กล่าวคือทิศทางหลักมีแนวโน้มที่จะเรียนรู้เร็วกว่าที่อื่น) เมื่อใช้อัลกอริทึม SGD ตามปกติ

คุณรู้หรือไม่ว่ามีผลงานที่เกี่ยวข้องกับหัวข้อนั้น ๆ หรือไม่? แม้ว่าฉันจะพบบทความหลายบทความที่เกี่ยวข้อง แต่พวกเขามุ่งเน้นไปที่เครือข่ายประสาทเทียมที่แตกต่างกันไม่ใช่ที่ LAE

Answer 1

ฉันคิดว่าคุณจะพบว่าบทความนี้มีประโยชน์: D. Kunin et al., " Loss Landscapes of Regularized Linear Autoencoders (2019) ผู้เขียนกล่าวถึงการบรรจบกันของตัวเข้ารหัสอัตโนมัติเชิงเส้นกับสเปซย่อยหลักและการทำให้เป็นระเบียบทำให้สามารถกู้คืนส่วนประกอบหลักที่แท้จริงได้อย่างไร (ไม่ใช่แค่พื้นที่ย่อย)

นอกจากนี้คุณอาจพบว่าเอกสารนี้มีประโยชน์: E. Plaut จาก Principal Subspaces ไปจนถึง Principal Components ด้วย Linear Autoencoders (2018) เอกสารนี้ให้ข้อมูลเบื้องต้นเกี่ยวกับ LAE และความสัมพันธ์กับ PCA อย่างละเอียด