¿Cómo determinar el número de capas y unidades ocultas de un codificador automático profundo?

Aug 18 2020

Estoy usando un codificador automático profundo para mi problema. Sin embargo, la forma en que elijo la cantidad de capas ocultas y unidades ocultas en una capa oculta todavía se basa en mis sentimientos.

El tamaño del modelo que indica el número de capas y unidades ocultas no debe ser demasiado o demasiado pequeño para que el modelo pueda capturar características útiles del conjunto de datos.

Entonces, ¿cómo elijo el tamaño correcto del modelo de codificador automático profundo es suficiente para bueno?

Respuestas

kiarash_kiani Sep 20 2020 at 04:27

¡Tienes razón!

1- ¡el número de capas ocultas no debería ser demasiado alto! Debido al descenso del gradiente cuando el número de capas es demasiado grande, el efecto de gradiente en las primeras capas se vuelve demasiado pequeño. Por eso se introdujo el modelo Resnet.

2- el número de capas ocultas no debe ser demasiado pequeño para extraer buenas características. Está comprobado que en las redes de CNN las primeras capas extraen elementos muy simples como líneas y curvas, pero las últimas capas extraen características más complejas.

3- El número de unidades ocultas es un hiperparámetro y, por lo general, debe encontrarlo probando o basándose en su conocimiento previo.

Pero, ¿qué puedes hacer en absoluto? Como puede probar diferentes parámetros y comparar sus resultados, ¡hay otras opciones! Una opción es la búsqueda de cuadrícula, puede consultar este tutorialhttps://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e