Bagaimana cara menentukan jumlah lapisan dan unit tersembunyi dari pembuat enkode otomatis yang dalam?

Question

Saya menggunakan autoencoder dalam untuk masalah saya. Namun, cara saya memilih jumlah lapisan tersembunyi dan unit tersembunyi di lapisan tersembunyi masih berdasarkan perasaan saya.

Ukuran model yang menunjukkan jumlah hidden layer dan unit tidak boleh terlalu banyak atau terlalu sedikit agar model dapat menangkap fitur yang berguna dari dataset.

Lantas, bagaimana cara memilih ukuran yang tepat dari model deep autoencoder yang cukup baik?

Answer 1

Kamu benar!

1- Jumlah lapisan tersembunyi tidak boleh terlalu tinggi! Karena penurunan gradien saat jumlah lapisan terlalu besar, efek gradien pada lapisan pertama menjadi terlalu kecil! Inilah mengapa model Resnet diperkenalkan.

2- Jumlah lapisan tersembunyi tidak boleh terlalu kecil untuk mengekstrak fitur yang bagus. Terbukti bahwa dalam jaringan CNN lapisan pertama mengekstrak elemen yang sangat sederhana seperti garis dan kurva tetapi lapisan terakhir mengekstrak fitur yang lebih kompleks.

3 - Jumlah unit tersembunyi adalah hyper-parameter dan biasanya Anda harus menemukannya dengan menguji atau berdasarkan pengetahuan latar belakang Anda.

Tapi apa yang bisa kamu lakukan? Karena Anda dapat menguji parameter yang berbeda dan membandingkan hasilnya, ada beberapa opsi lain! Salah satu opsinya adalah pencarian grid, Anda dapat memeriksa tutorial inihttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e