Come devo scegliere la frequenza di aggiornamento del target in DQN?
Ho affrontato un problema che sto cercando di risolvere con DQN. Una domanda generale che ho riguarda la frequenza di aggiornamento del target. Come dovrebbe cambiare? A seconda di quale fattore aumentiamo o diminuiamo questo iperparametro?
Risposte
Come hai detto tu stesso, è un iperparametro. Quindi, nessuno (nemmeno tu) può dire qual è la frequenza di aggiornamento ideale. Devi testare e provare.
Detto questo, ricorda una cosa che l'obiettivo NN dovrebbe imitare il più fedelmente possibile la rete effettiva. Quindi, se lo aggiorni dopo aver eseguito un numero lungo, penso che inizierai a perdere la precisione. Al contrario, se lo aggiorni troppo spesso, perdi il vantaggio di utilizzare la rete target (che è aumentare il tasso di allenamento e ridurre il tempo di allenamento) e l'allenamento richiederà una quantità di tempo maggiore.
Il mio suggerimento è di provare ad aggiornare ogni 5 o 8 episodi.