¿Cómo debo elegir la frecuencia de actualización del objetivo en DQN?

Aug 18 2020

He estado lidiando con un problema que estoy tratando de resolver con DQN. Una pregunta general que tengo es sobre la frecuencia de actualización del objetivo. ¿Cómo debería cambiar? ¿Dependiendo de qué factor aumentamos o disminuimos este hiperparámetro?

Respuestas

1 Kashan Aug 18 2020 at 15:05

Como tú mismo dijiste, es un hiperparámetro. Por lo tanto, nadie (ni siquiera usted) puede decir cuál es la frecuencia de actualización ideal. Tienes que probar y probar.

Habiendo dicho eso, recuerde una cosa que el NN objetivo debe imitar la red real lo más cerca posible. Por lo tanto, si lo actualiza después de un número prolongado de ejecuciones, creo que comenzará a perder la precisión. Por el contrario, si lo actualiza con demasiada frecuencia, perderá el beneficio de usar la red de destino (que es para aumentar la tasa de entrenamiento y reducir el tiempo de entrenamiento) y el entrenamiento llevará una mayor cantidad de tiempo.

Mi sugerencia es intentar actualizar después de cada 5 a 8 episodios.