Comment choisir la fréquence de mise à jour de la cible dans DQN?

Question

J'ai été confronté à un problème que j'essaie de résoudre avec DQN. Une question générale que je me pose concerne la fréquence de mise à jour de la cible. Comment cela devrait-il changer? En fonction de quel facteur augmentons-nous ou diminuons-nous cet hyperparamètre?

Answer 1

Comme vous l'avez dit vous-même, c'est un hyperparamètre. Par conséquent, personne (même vous) ne peut dire quelle est la fréquence de mise à jour idéale. Vous devez tester et essayer.

Cela dit, n'oubliez pas une chose que le NN cible doit imiter le plus fidèlement possible le réseau réel. Par conséquent, si vous le mettez à jour après un long nombre d'exécutions, je pense que vous commencerez à perdre la précision. Au contraire, si vous le mettez à jour trop souvent, vous perdez l'avantage d'utiliser le réseau cible (qui est d'augmenter le taux d'entraînement et de réduire le temps d'entraînement) et l'entraînement prendra plus de temps.

Ma suggestion est d'essayer de mettre à jour tous les 5 à 8 épisodes.