DQNでターゲットの更新頻度をどのように選択する必要がありますか？

Question

私はDQNで解決しようとしている問題に取り組んできました。私が持っている一般的な質問は、ターゲットの更新頻度に関するものです。どのように変更する必要がありますか？このハイパーパラメータをどのような要因で増減しますか？

Answer 1

あなたが自分で言ったように、それはハイパーパラメータです。したがって、誰も（あなたでさえ）理想的な更新頻度を言うことはできません。テストして試す必要があります。

そうは言っても、ターゲットNNが実際のネットワークを可能な限り模倣する必要があることを1つ覚えておいてください。したがって、長時間実行した後に更新すると、精度が低下し始めると思います。逆に、更新頻度が高すぎると、ターゲットネットワークを使用するメリットが失われ（トレーニングレートが上がり、トレーニング時間が短縮されます）、トレーニングにかかる​​時間が長くなります。

私の提案は、5〜8エピソードごとに更新してみることです。