DQN'de hedefin güncelleme sıklığını nasıl seçmeliyim?

Question

DQN ile çözmeye çalıştığım bir sorunla uğraşıyorum. Sahip olduğum genel bir soru, hedefin güncelleme sıklığı ile ilgili. Nasıl değişmeli? Bu hiperparametreyi hangi faktöre bağlı olarak artırır veya azaltırız?

Answer 1

Kendin de söylediğin gibi, bu bir hiperparametredir. Bu nedenle, hiç kimse (siz bile) ideal güncelleme sıklığının ne olduğunu söyleyemez. Test etmeli ve denemelisiniz.

Bunu söyledikten sonra, hedef NN'nin gerçek ağı olabildiğince yakından taklit etmesi gereken bir şeyi unutmayın. Bu nedenle, uzun bir sayı çalıştıktan sonra güncellerseniz, doğruluğunu kaybetmeye başlayacağınızı düşünüyorum. Aksine, çok sık güncellerseniz, hedef ağı kullanmanın avantajını kaybedersiniz (bu, eğitim oranını artırmak ve eğitim süresini azaltmaktır) ve eğitim daha fazla zaman alacaktır.

Önerim, her 5 ila 8 bölümden sonra güncellemeyi denemektir.