Epsilon küçüldüğünde eğitimi durdurabilir miyiz?

Question

Takviye öğrenmede yeniyim.

RL'de yaygın olduğu için, $\epsilon$-Davranış / keşif için özlü arama kullanılır. Yani eğitimin başında$\epsilon$yüksektir ve bu nedenle birçok rastgele eylem seçilir. Zamanla,$\epsilon$ azalır ve genellikle en iyi eylemi seçeriz.

1. Merak ediyordum, örneğin Q-Learning'de, eğer $\epsilon$küçük, örneğin 0.1 veya 0.01, Q değerleri gerçekten hala değişiyor mu? Sadece yönlerini mi değiştiriyorlar, yani en iyi eylem en iyi eylem olmaya devam ediyor, ancak Q değerleri daha da ayrılıyor mu, yoksa değerler gerçekten yeniden mi değişiyor, böylece en iyi eylem her zaman belirli bir durum için değişiyor mu?

2. Eğer Q değerleri gerçekten hala güçlü bir şekilde değişiyorsa, bunun nedeni hala sahip olduğumuz kalan rastgele eylemler nedeniyledir. $\epsilon>0$ yoksa hala değişir miydi $\epsilon=0$?

Answer 1

1. Ne kadar $Q$-değerlerin değişimi değerine bağlı değildir $\epsilon$daha ziyade değeri $\epsilon$rastgele bir eylem gerçekleştirme ve böylece büyük bir TD hatasına yol açabilecek bir eylem gerçekleştirme olasılığınızı belirler - bu, bu eylemi gerçekleştirmenizden beklediğiniz getirilerle gerçekte gözlemlediğiniz şey arasında büyük bir farktır. Ne kadar$Q$-değer değişiklikleri bu TD hatasının büyüklüğüne bağlıdır.

2. $Q$-öğrenmenin keşif yoksa yakınsaması garanti edilmez. Yakınsama kriterlerinin bir kısmı, her bir durum-eylem çiftinin sonsuz sayıda bölümde sonsuz sıklıkta ziyaret edileceğini varsayar ve bu nedenle keşif yoksa bu gerçekleşmez.