Como determinar o número de camadas e unidades ocultas de um codificador automático profundo?

Aug 18 2020

Estou usando um autencoder profundo para meu problema. No entanto, a maneira como eu escolho o número de camadas ocultas e unidades ocultas em uma camada oculta ainda é baseada no meu sentimento.

O tamanho do modelo que indica o número de camadas e unidades ocultas não deve ser muito ou muito pouco para o modelo pode capturar recursos úteis do conjunto de dados.

Então, como faço para escolher o tamanho certo do modelo do autoencoder profundo é suficiente para bom?

Respostas

kiarash_kiani Sep 20 2020 at 04:27

Você está certo!

1- o número de camadas ocultas não deve ser muito alto! Por causa da descida do gradiente quando o número de camadas é muito grande, o efeito do gradiente nas primeiras camadas se torna muito pequeno! É por isso que o modelo Resnet foi introduzido.

2- o número de camadas ocultas não deve ser muito pequeno para extrair boas características. Está provado que nas redes CNN as primeiras camadas extraem elementos muito simples, como linhas e curvas, mas as últimas camadas extraem recursos mais complexos.

3 - o número de unidades ocultas é um hiperparâmetro e normalmente você deve encontrá-lo testando ou com base em seu conhecimento prévio.

Mas o que você pode fazer? Como você pode testar diferentes parâmetros e comparar seus resultados, existem algumas outras opções! Uma opção é a pesquisa em grade, você pode verificar este tutorialhttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e