Pekiştirmeli öğrenmedeki gecikme süresiyle nasıl başa çıkılır?

Question

Takviye öğrenmede (RL) gecikme süresiyle ilgili bir sorum var.

RL'de kişinin durumu, ödülü ve eylemi vardır. Genellikle (anladığım kadarıyla) eylem sistemde yürütüldüğünde, durumun hemen değiştiği ve yeni durumun daha sonra bir sonraki eylemi belirlemek için analiz edilebileceği (ödülü etkileyerek) varsayılır. Ancak, bu süreçte bir zaman gecikmesi olursa ne olur? Örneğin, aynı anda bir eylem gerçekleştirildiğinde$t_1$sistem üzerindeki etkisini yalnızca şu adresten alabiliriz: $t_2$(Bir akış hayal edebilirsiniz: aktüatör yukarı akış bölgesinde ve sensör aşağı akış bölgesinde, böylece eylem ile durum arasında bir zaman gecikmesi olacaktır). RL'deki bu zaman gecikmesi ile nasıl başa çıkacağız?

Answer 1

Çoğu RL algoritması, zamanın ayrıklaştırıldığını varsayar (ancak RL, sürekli zaman problemlerine de uygulanabilir [ 1]), yani teorik olarak, ardışık zaman adımları arasındaki gerçek zamanın ne olduğu gerçekten önemli değildir, ancak pratikte ödüllerde veya gözlemlerde gecikmeler olabilir, bu nedenle örneğin TD güncellemelerini hemen gerçekleştiremezsiniz. Probleminize doğal bir çözüm, elde edilen ödülün ve temsilcinin belirli bir durumda belirli bir eylemi gerçekleştirdikten sonraki bir sonraki durumu takip etmek (örneğin bir tamponda) veya bir tür senkronizasyon mekanizması kullanmaktır ( Bu çözümleri yeni bulduğuma dikkat edin, bu yüzden bunun sorunları çözmek için yapılıp yapılmadığını bilmiyorum). Uygulamada, bu, örneğin gerçek zamanlı çıkarım sırasında, mevcut durum veya ödül hakkında tam bilgi olmadan bile ne yapmanız gerektiğine hızlı bir şekilde karar vermeniz gereken durumlarda işe yaramayabilir (her durumda).

RL'de ödüllerin genellikle ertelendiğinin söylendiğine dikkat edin.

1. Bir eylemin sonuçlarını, gerçekleştirdikten sonra yalnızca birçok zaman adımı bilebilirsiniz (bir eylemin sonuçlarının belirlenmesi, kredi tahsisi sorunu olarak bilinir ) veya
2. Temsilci bir hedefe / nihai duruma ulaştığında sıfır olmayan bir ödül alabilirsiniz (bu son durumda, bu ödüller seyrek olarak da bilinir ).

Bu iki problem RL'de yaygındır. Bununla birlikte, endişelerinizi doğru bir şekilde anlarsam, bu sizin sorununuzdan biraz farklıdır, çünkü sorununuz aynı zamanda devletin potansiyel gecikmesini ve hatta daha önceki bir zaman adımında gelmesi beklenen mükafatı da içerir; düzensiz veya bozuk sensör / aktüatör. Örneğin, tipik olarak kameranız tarafından çekilen son kareleri birleştirerek mevcut durumun bir yaklaşık değerini oluşturan DQN kullanıyorsanız , karelerde karelerin doğal sırasının değişmesine neden olan gecikmeler varsa, bu durum yol açabilir. mevcut durumun kötü bir yaklaşımına, aslında felaketle sonuçlanabilecek bir olaya yol açabilir. Yani, evet, bu çözülmesi gereken önemli bir sorundur.

Mevcut gerçek çözümlere gerçekten aşina olmadığım için, sizi birkaç hafta önce okuduğum, bu sorundan bahseden ve sizi yapmaya çalışan diğer araştırma çalışmalarına yönlendiren Gerçek Dünyadaki Güçlendirmeli Öğrenmenin Zorlukları makalesine başvuracağım . yönlendirmek. Geciken / seyrek ödüllerle daha çok ilgileniyorsanız, bu yanıta da bir göz atın .