Konsep Normalizing Flow pada Machine Learning part2

1. Kisah Dua Aliran Laten: Mempelajari Aliran Normalisasi Ruang Laten dengan Aliran Langevin Jangka Pendek untuk Perkiraan Inferensi(arXiv)'

Abstrak : Kami mempelajari aliran normalisasi di ruang laten model generator top-down, di mana model aliran normalisasi berperan sebagai model generator sebelumnya yang informatif. Kami mengusulkan untuk bersama-sama mempelajari model sebelumnya aliran normalisasi ruang laten dan model generator top-down oleh algoritma kemungkinan maksimum berbasis rantai Markov Monte Carlo (MCMC), di mana pengambilan sampel Langevin jangka pendek dari distribusi posterior yang keras dilakukan untuk menyimpulkan variabel laten untuk setiap contoh yang diamati, sehingga parameter aliran normalisasi sebelumnya dan generator dapat diperbarui dengan variabel laten yang disimpulkan. Kami menunjukkan bahwa, di bawah skenario MCMC jangka pendek non-konvergen, Dinamika Langevin langkah terbatas adalah model inferensi perkiraan seperti aliran dan tujuan pembelajaran sebenarnya mengikuti gangguan estimasi kemungkinan maksimum (MLE). Kami lebih lanjut menunjukkan bahwa kerangka pembelajaran berusaha untuk (i) mencocokkan aliran normalisasi ruang laten dan agregat posterior yang dihasilkan oleh aliran Langevin jangka pendek, dan (ii) membiaskan model dari MLE sedemikian rupa sehingga inferensi aliran Langevin jangka pendek dekat dengan posterior sejati. Hasil empiris dari eksperimen ekstensif memvalidasi keefektifan model aliran normalisasi ruang laten yang diusulkan dalam tugas pembuatan gambar, rekonstruksi gambar, deteksi anomali, pengecatan gambar yang diawasi dan pemulihan gambar yang tidak diawasi Kami lebih lanjut menunjukkan bahwa kerangka pembelajaran berusaha untuk (i) mencocokkan aliran normalisasi ruang laten dan agregat posterior yang dihasilkan oleh aliran Langevin jangka pendek, dan (ii) membiaskan model dari MLE sedemikian rupa sehingga inferensi aliran Langevin jangka pendek dekat dengan posterior sejati. Hasil empiris dari eksperimen ekstensif memvalidasi keefektifan model aliran normalisasi ruang laten yang diusulkan dalam tugas pembuatan gambar, rekonstruksi gambar, deteksi anomali, pengecatan gambar yang diawasi dan pemulihan gambar yang tidak diawasi Kami lebih lanjut menunjukkan bahwa kerangka pembelajaran berusaha untuk (i) mencocokkan aliran normalisasi ruang laten dan agregat posterior yang dihasilkan oleh aliran Langevin jangka pendek, dan (ii) membiaskan model dari MLE sedemikian rupa sehingga inferensi aliran Langevin jangka pendek dekat dengan posterior sejati. Hasil empiris dari eksperimen ekstensif memvalidasi keefektifan model aliran normalisasi ruang laten yang diusulkan dalam tugas pembuatan gambar, rekonstruksi gambar, deteksi anomali, pengecatan gambar yang diawasi dan pemulihan gambar yang tidak diawasi

2. FIInC Flow: Konvolusi k×k yang Cepat dan Dapat Dibalik untuk Normalisasi Arus (arXiv)

Pengarang : : Aditya Kallappa , Sandeep Nagar , Girish Varma

Abstrak : Konvolusi yang dapat dibalik telah menjadi elemen penting untuk membangun model generatif berbasis aliran normalisasi ekspresif sejak diperkenalkan di Glow. Beberapa upaya telah dilakukan untuk merancang konvolusi k×k yang dapat dibalik yang efisien dalam pelatihan dan pengambilan sampel. Meskipun upaya ini telah meningkatkan ekspresivitas dan efisiensi pengambilan sampel, mereka sangat tertinggal dari Glow yang hanya menggunakan konvolusi 1×1 dalam hal waktu pengambilan sampel. Selain itu, banyak pendekatan menutupi sejumlah besar parameter konvolusi yang mendasarinya, menghasilkan ekspresivitas yang lebih rendah pada anggaran run-time yang tetap. Kami mengusulkan lapisan konvolusional ak×k dan arsitektur Deep Normalizing Flow yang i.) memiliki algoritme inversi paralel cepat dengan waktu berjalan O(nk2) (n adalah tinggi dan lebar gambar masukan dan k adalah ukuran kernel), ii. ) menutupi jumlah minimal parameter yang dapat dipelajari dalam sebuah lapisan. iii.) memberikan waktu penerusan dan pengambilan sampel yang lebih baik dibandingkan dengan model berbasis konvolusi k×k lainnya pada tolok ukur dunia nyata. Kami menyediakan implementasi algoritme paralel yang diusulkan untuk pengambilan sampel menggunakan konvolusi terbalik kami pada GPU. Tolok ukur pada kumpulan data CIFAR-10, ImageNet, dan CelebA menunjukkan kinerja yang sebanding dengan karya sebelumnya terkait bit per dimensi sekaligus meningkatkan waktu pengambilan sampel secara signifikan.