Quels sont les principaux obstacles à la mise en production de RL?

Question

J'étudie l'état de l'art de l'apprentissage par renforcement, et mon point est que nous voyons tellement d'applications dans le monde réel utilisant des algorithmes d'apprentissage supervisé et non supervisé en production, mais je ne vois pas la même chose avec les algorithmes d'apprentissage par renforcement.

Quels sont les principaux obstacles à la mise en production de RL?

Answer 1

Il existe un article relativement récent qui aborde ce problème: Challenges of Real-World Reinforcement Learning (2019) par Gabriel Dulac-Arnold et al., Qui présente tous les défis à relever pour produire RL aux problèmes du monde réel, le des approches / solutions pour résoudre les défis et des mesures pour les évaluer. Je ne les listerai que (sur la base des notes que j'avais prises il y a quelques semaines). Vous devriez lire l'article pour plus de détails. Dans tous les cas, pour les personnes familiarisées avec RL, elles seront assez évidentes.

1. Formation par lots hors ligne et hors politique
   • Une solution actuelle est l' échantillonnage par importance
2. Apprendre sur le système réel à partir d'échantillons limités (inefficacité de l'échantillon)
   • Solutions: MAML, utiliser des démonstrations d'experts pour amorcer l'agent, approches basées sur des modèles
3. Espaces d'état et d'action continus de grande dimension
   • Solutions: AE-DQN, DRRN
4. Répondre aux contraintes de sécurité
   • Solutions: MDP contraint, stratégies d'exploration sécurisées, etc.
5. Observabilité partielle et non-stationnarité
   • Solutions à l'observabilité partielle: intégrer l'histoire dans l'observation, les réseaux de neurones récurrents, etc.
   • Solutions à la non-stationnarité: randomisation de domaine ou identification de système
6. Fonctions de récompense non spécifiées et multi-objectifs
   • Solutions: CVaR, DQN distributionnel
7. Explicabilité
8. Inférence en temps réel
9. Retards du système (voir aussi ceci et cela réponses)

Il y a aussi un article plus récent et connexe Une enquête empirique sur les défis de l'apprentissage par renforcement dans le monde réel (2020) par Gabriel Dulac-Arnold et al, et vous avez ici le code associé aux expériences.

Cependant, notez que RL (en particulier, les bandits) est déjà utilisé pour résoudre au moins un problème du monde réel [ 1 , 2 ]. Voir aussi cette réponse.

Answer 2

Obstacles techniques: Il devrait y avoir au moins ces grands obstacles de bon sens:

• La technique d' essai et d'erreur rend le modèle difficile à apprendre (trop), par rapport aux données supervisées prêtes à l'emploi
• Le nombre de pas de temps (qui équivaut généralement au nombre d'actions de l'agent dans la trajectoire) est important, donc l'exploration par force brute ne fonctionnera pas car le nombre d'essais pour trouver des erreurs est exponentiel, bien que des récompenses négatives puissent aider à raccourcir l'arbre de la force brute.
• Le RL réel prend un nombre illimité d'épisodes (pour chaque épisode, une séquence d'actions doit être apprise), et la formation incrémentielle est de plus en plus difficile avec le temps avec des données plus explorées, à moins que certaines données passées et non liées ne soient supprimées , tout comme les humains, on oublie une partie du passé pour en savoir plus, se souvenir davantage du présent.

Les barrières techniques sont d'abord les barrières à leur application aux entreprises. Les gens peuvent produire des données supervisées manuellement assez rapidement, et donc l'apprentissage supervisé est généralement choisi en premier, personne ne souhaite essayer RL.

Plus difficile à trouver des ressources humaines: les ingénieurs en IA ayant une expérience en apprentissage supervisé sont plus populaires et plus faciles à trouver; moins de travail avec RL, donc les projets commerciaux ne sont pas réalisés facilement si vous utilisez RL.

Cependant, de mon point de vue, RL est très prometteur à l'avenir, car les entités d'IA sont désormais de plus en plus autonomes.