Derin bir otomatik kodlayıcının gizli katmanlarının ve birimlerinin sayısı nasıl belirlenir?
Sorunum için derin bir otomatik kodlayıcı kullanıyorum. Ancak, gizli bir katmandaki gizli katmanların ve gizli birimlerin sayısını seçme şeklim yine de benim hissime dayanıyor.
Gizli katmanların ve birimlerin sayısını gösteren modelin boyutu, modelin veri kümesinden kullanışlı özellikleri yakalayabilmesi için çok fazla veya çok az olmamalıdır.
Peki, derin otomatik kodlayıcı modelinin doğru boyutunu nasıl seçebilirim?
Yanıtlar
Haklısın!
1- Gizli katman sayısı çok fazla olmamalı! Katman sayısı çok fazla olduğunda gradyan inişi nedeniyle, ilk katmanlar üzerindeki gradyan etkisi çok küçük hale gelir! Resnet modelinin tanıtılmasının nedeni budur.
2- Gizli katmanların sayısı iyi özellikler elde etmek için çok az olmamalıdır. CNN ağlarında ilk katmanların çizgiler ve eğriler gibi çok basit öğeleri çıkardığı ancak son katmanların daha karmaşık özellikler çıkardığı kanıtlanmıştır.
3- Gizli birimlerin sayısı bir hiper parametredir ve genellikle bunu test ederek veya geçmiş bilginize göre bulmanız gerekir.
Ama ne yapabilirsin? Farklı parametreleri test edebileceğiniz ve sonuçlarını karşılaştırabileceğiniz için başka seçenekler de var! Bir seçenek ızgara aramasıdır, bu eğiticiyi kontrol edebilirsinizhttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e