Üretimde RL elde etmenin önündeki en büyük engeller nelerdir?

Question

Takviyeli Öğrenmenin son teknolojisini inceliyorum ve benim açımdan, üretimde Denetimli ve Denetimsiz öğrenme algoritmalarını kullanan gerçek dünyada pek çok uygulama görüyoruz, ancak Takviyeli Öğrenme algoritmalarında aynı şeyi görmüyorum.

Üretimde RL elde etmenin önündeki en büyük engeller nelerdir?

Answer 1

Bu konuyu ele alan nispeten yeni bir makale var: Gerçek dünyada pekiştirmeli öğrenmenin zorlukları (2019), Gabriel Dulac-Arnold ve diğerleri, RL'yi gerçek dünya sorunlarına üretmek için ele alınması gereken tüm zorlukları sunar. zorlukları çözmek için yaklaşımlar / çözümler ve bunları değerlendirmek için ölçütler. Bunları yalnızca listeleyeceğim (birkaç hafta önce aldığım notlara göre). Daha fazla ayrıntı için makaleyi okumalısınız. Her durumda, RL'ye aşina olan insanlar için oldukça açık olacaktır.

1. Çevrim dışı ve poliçe dışı toplu eğitim
   • Güncel çözümlerden biri önem örneklemesidir
2. Sınırlı örneklerden gerçek sistem üzerinde öğrenme (örnek verimsizliği)
   • Çözümler: MAML, aracıyı önyüklemek için uzman gösterilerini kullanın, model tabanlı yaklaşımlar
3. Yüksek boyutlu sürekli durum ve eylem uzayları
   • Çözümler: AE-DQN, DRRN
4. Güvenlik kısıtlamalarının karşılanması
   • Çözümler: kısıtlı MDP, güvenli keşif stratejileri vb.
5. Kısmi gözlemlenebilirlik ve durağan olmama
   • Kısmi gözlemlenebilirliğe yönelik çözümler: Gözleme geçmişi, tekrarlayan sinir ağları vb. Dahil edin.
   • Durağan olmama çözümleri: etki alanı randomizasyonu veya sistem tanımlama
6. Belirtilmemiş ve çok amaçlı ödül fonksiyonları
   • Çözümler: CVaR, Dağıtımsal DQN
7. Açıklanabilirlik
8. Gerçek zamanlı çıkarım
9. Sistem gecikmeleri ( buna ve bu yanıtlara da bakın )

Ayrıca daha yeni ve ilgili bir makale var . Gabriel Dulac-Arnold ve diğerleri tarafından gerçek dünyadaki pekiştirmeli öğrenmenin (2020) zorluklarının deneysel bir incelemesi ve burada deneylerle ilgili kod var.

Bununla birlikte, RL'nin (özellikle haydutların) en az bir gerçek dünya problemini çözmek için kullanıldığını unutmayın [ 1 , 2 ]. Bu yanıta da bakın .

Answer 2

Teknik engeller: En azından şu sağduyu büyük engelleri olmalıdır:

• Deneme yanılma tekniği, kullanıma hazır denetimli verilere kıyasla modeli öğrenmeyi zorlaştırır (çok fazla)
• Zaman adımlarının sayısı (genellikle ajanın yörüngedeki eylemlerinin sayısına eşittir) büyüktür, bu nedenle hataları bulmak için yapılan denemelerin sayısı üstel olduğundan kaba kuvvet keşfi işe yaramaz, ancak olumsuz ödüller kısa kesmeye yardımcı olabilir. kaba kuvvet ağacı.
• Gerçek hayattaki RL sınırsız sayıda bölüm alır (her bölüm için bir dizi eylem öğrenilmelidir) ve artımlı eğitim, bazı geçmiş ve artık ilişkili olmayan veriler kaldırılmadıkça, daha fazla keşfedilmiş verilerle zaman içinde daha zor ve zordur. Tıpkı insanlar gibi, daha fazlasını öğrenmek için geçmişin bir kısmını unutuyoruz, bugünü daha çok hatırlıyoruz.

Teknik engeller, bunları iş dünyasına uygulamanın önündeki engellerdir. İnsanlar bazı denetimli verileri manuel olarak oldukça hızlı bir şekilde üretebilirler ve bu nedenle denetimli öğrenme genellikle önce seçilir, kimse RL'yi denemek istemez.

İnsan kaynaklarını bulmak daha zor: Denetimli öğrenimde deneyime sahip yapay zeka mühendisleri daha popüler ve bazılarını bulmak daha kolay; RL ile daha az çalışma, bu nedenle RL kullanılıyorsa iş projeleri kolayca yürütülmez.

Bununla birlikte, benim bakış açıma göre, yapay zeka varlıkları artık giderek daha fazla kendi başlarına olduklarından, RL gelecekte çok umut verici.