Comment déterminer le nombre de couches et d'unités cachées d'un encodeur automatique profond?
J'utilise un auto-encodeur profond pour mon problème. Cependant, la façon dont je choisis le nombre de couches cachées et d'unités cachées dans une couche cachée est toujours basée sur mon ressenti.
La taille du modèle qui indique le nombre de couches et d'unités masquées ne doit pas être trop ou trop faible pour que le modèle puisse capturer des entités utiles à partir du jeu de données.
Alors, comment choisir la bonne taille du modèle de codeur automatique profond est assez pour bien?
Réponses
Vous avez raison!
1- le nombre de couches cachées ne doit pas être trop élevé! A cause de la descente du dégradé lorsque le nombre de calques est trop important, l'effet de dégradé sur les premiers calques devient trop petit! C'est pourquoi le modèle Resnet a été introduit.
2- le nombre de couches cachées ne doit pas être trop petit pour extraire de bonnes fonctionnalités. Il est prouvé que dans les réseaux CNN, les premières couches extraient des éléments très simples comme des lignes et des courbes, mais les dernières couches extraient des caractéristiques plus complexes.
3- Le nombre d'unités cachées est un hyper-paramètres et généralement vous devriez le trouver en testant ou en fonction de vos connaissances de base.
Mais que pouvez-vous faire du tout? Comme vous pouvez tester différents paramètres et comparer leurs résultats, il existe d'autres options! Une option est la recherche de grille, vous pouvez consulter ce didacticielhttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e