Mengapa pembelajaran-Q reguler (dan DQN) melebih-lebihkan nilai Q?
Motivasi untuk pengenalan DQN ganda (dan pembelajaran-Q ganda) adalah bahwa pembelajaran-Q reguler (atau DQN) dapat melebih-lebihkan nilai Q, tetapi adakah penjelasan singkat mengapa hal itu dilebih-lebihkan?
Jawaban
Estimasi berlebih berasal dari inisialisasi acak dari perkiraan nilai-Q Anda. Jelas ini tidak akan sempurna (jika demikian maka kita tidak perlu mempelajari nilai-Q yang sebenarnya!). Dalam banyak metode pembelajaran penguatan berbasis nilai seperti SARSA atau Q-learning, algoritme melibatkan a$\max$operator dalam pembangunan kebijakan sasaran. Kasus yang paling jelas adalah, seperti yang Anda sebutkan, Q-learning. Pembaruan pembelajaran adalah$$Q(s, a) = Q(s, a) + \alpha \left[r(s, a) + \gamma \max_a Q(s', a) - Q(s, a) \right] \;.$$Fungsi-Q untuk tupel aksi-keadaan yang kita pertimbangkan bergeser ke fungsi-Q maks pada keadaan berikutnya di mana$\max$ diambil sehubungan dengan tindakan tersebut.
Sekarang, seperti yang disebutkan, perkiraan awal kami tentang nilai-Q dijalankan secara acak. Ini secara alami mengarah pada nilai-nilai yang salah. Konsekuensi dari ini adalah saat kita menghitung$\max_aQ(s', a)$kita bisa saja memilih nilai-nilai yang terlalu dilebih-lebihkan .
Karena pembelajaran-Q (dalam kasus tabular) dijamin untuk bertemu (dengan beberapa asumsi ringan) sehingga konsekuensi utama dari bias perkiraan yang terlalu tinggi adalah yang sangat memperlambat konvergensi. Hal ini tentunya dapat diatasi dengan Double Q-learning.
Jawaban di atas adalah untuk kasus Q-Learning tabular. Idenya sama untuk Deep Q-Learning, kecuali perhatikan bahwa Deep Q-learning tidak memiliki jaminan konvergensi (bila menggunakan NN sebagai aproksimeter fungsi) dan bias overestimasi lebih menjadi masalah karena dapat berarti parameter jaringan terjebak dalam nilai yang kurang optimal.
Ketika seseorang bertanya di komentar tentang selalu menginisialisasi nilai menjadi angka yang sangat rendah, ini tidak akan benar-benar berfungsi.
Pertimbangkan MDP berikut yang diambil dari Sutton dan Barto: Kita mulai di negara bagian A, dari situ kita bisa ke kanan dengan hadiah 0 mengarah ke status terminal atau ke kiri dengan hadiah 0 ke status B. Dari negara bagian B kita dapat mengambil, katakanlah, 100 tindakan berbeda, yang semuanya mengarah ke status terminal dan memiliki reward yang diambil dari distribusi Normal dengan mean -0.1 dan varians 1.
Sekarang, jelas tindakan optimal dari keadaan A adalah pergi ke kanan. Namun, ketika kita ke kiri dan mengambil tindakan di negara bagian B, ada kemungkinan (hampir) 0,5 untuk mendapatkan hadiah lebih besar dari 0. Sekarang, ingat bahwa nilai-Q bergeser ke arah$r(s, a) + \max_a Q(s', a)$; karena ganjaran stokastik saat bertransisi keluar dari status B dan fakta bahwa kita kemungkinan besar akan melihat ganjaran positif$\max_a Q(s', a)$ akan menjadi positif.
Artinya saat kita melakukan aksi ke kiri nilai Q (Q (A, left)) digeser ke arah nilai positif, artinya saat kita berada di state A nilai pergerakan ke kiri akan lebih tinggi dari pada bergerak ke kanan (yang mana akan secara bertahap akan digeser ke arah nilai sebenarnya dari 0) dan begitu juga saat mengikuti $\epsilon$Kebijakan -kebijakan, tindakan serakah akan dibiarkan begitu saja padahal sebenarnya ini kurang optimal.
Sekarang, tentu saja, kita tahu bahwa nilai-Q yang sebenarnya pada akhirnya akan bertemu tetapi jika kita memiliki, katakanlah, 100 tindakan maka Anda mungkin dapat melihat bahwa waktu yang dibutuhkan untuk nilai-Q untuk menyatu dengan nilai sebenarnya akan berpotensi. menjadi waktu yang lama karena kami harus terus memilih semua nilai yang ditaksir terlalu tinggi sampai kami memiliki konvergensi.