Como determinar o número de camadas e unidades ocultas de um codificador automático profundo?
Estou usando um autencoder profundo para meu problema. No entanto, a maneira como eu escolho o número de camadas ocultas e unidades ocultas em uma camada oculta ainda é baseada no meu sentimento.
O tamanho do modelo que indica o número de camadas e unidades ocultas não deve ser muito ou muito pouco para o modelo pode capturar recursos úteis do conjunto de dados.
Então, como faço para escolher o tamanho certo do modelo do autoencoder profundo é suficiente para bom?
Respostas
Você está certo!
1- o número de camadas ocultas não deve ser muito alto! Por causa da descida do gradiente quando o número de camadas é muito grande, o efeito do gradiente nas primeiras camadas se torna muito pequeno! É por isso que o modelo Resnet foi introduzido.
2- o número de camadas ocultas não deve ser muito pequeno para extrair boas características. Está provado que nas redes CNN as primeiras camadas extraem elementos muito simples, como linhas e curvas, mas as últimas camadas extraem recursos mais complexos.
3 - o número de unidades ocultas é um hiperparâmetro e normalmente você deve encontrá-lo testando ou com base em seu conhecimento prévio.
Mas o que você pode fazer? Como você pode testar diferentes parâmetros e comparar seus resultados, existem algumas outras opções! Uma opção é a pesquisa em grade, você pode verificar este tutorialhttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e