Présentation

Traditionnellement, les modèles d'apprentissage automatique sont formés sur certains ensembles de données fixes/statiques rassemblés, puis utilisés pour faire des prédictions sur des données invisibles.

Bien que ce soit ainsi que l'apprentissage automatique ait été généralement (et avec succès) abordé jusqu'à présent, il existe une grande marge d'amélioration dans la construction de modèles plus robustes.

Par exemple:

• Avec le temps, la distribution des données peut changer. A terme, cela peut conduire à une mauvaise performance d'un modèle statique, non adaptatif. Par conséquent, un suivi périodique est recommandé dans de tels cas, ce qui nécessite des ressources supplémentaires et augmente les coûts de gestion du projet.
• Indéniablement, alimenter un modèle d'apprentissage automatique avec des données annotées (ou vérifiées par l'homme) donne souvent les meilleurs résultats. Cela garantit que le modèle obtient des données de qualité. Cependant, le travail d'annotation est ardu et non évolutif.
• Dans de nombreux cas, les données dont on dispose sont insuffisantes pour entraîner un modèle indépendant. De plus, la collecte de plus de données peut prendre du temps et ne pas être une direction réalisable.

Modèles adaptatifs

Comme leur nom l'indique, les modèles adaptatifs sont des modèles d'apprentissage automatique qui s'adaptent et améliorent leurs performances à mesure qu'ils sont exposés à davantage de données.

Pourquoi des modèles adaptatifs ?

Il y a plusieurs raisons pour lesquelles on pourrait envisager d'utiliser un modèle adaptatif :

1. Amélioration des performances dans les environnements dynamiques : les modèles adaptatifs peuvent améliorer en permanence leurs performances lorsqu'ils sont exposés à davantage de données, ce qui améliore leur précision et leur utilité. Dans les situations où la distribution des données change constamment, les modèles adaptatifs peuvent s'adapter et continuer à bien fonctionner, tandis que les modèles non adaptatifs peuvent rencontrer des difficultés.
2. Intervention manuelle réduite : avec les modèles adaptatifs, il y a souvent moins besoin d'intervention manuelle (par exemple, ajustement des hyperparamètres du modèle) car le modèle est capable de s'adapter et de s'améliorer par lui-même. Le recyclage automatique se produit avec AutoML, ce qui peut faire gagner du temps et des efforts aux data scientists et aux ingénieurs.

Points à considérer

Les modèles adaptatifs semblent être une excellente idée à poursuivre, n'est-ce pas ? Pourtant, comme tout autre algorithme/technique, ils ont des limites.

Voici quelques éléments à prendre en compte lorsque vous décidez d'utiliser ou non des modèles adaptatifs :

1. Complexité accrue : Les modèles adaptatifs peuvent être plus complexes que les modèles statiques/non adaptatifs. En effet, ils impliquent généralement des mécanismes supplémentaires pour s'adapter à l'évolution des données.
2. Défis liés aux données : Semblables aux exigences des modèles traditionnels, les modèles adaptatifs nécessitent également suffisamment de données pour une formation efficace. S'il est difficile d'avoir suffisamment de données, les modèles adaptatifs peuvent ne pas être le meilleur choix.
3. Coûts de calcul : comme les modèles adaptatifs s'adaptent constamment, ils sont plus gourmands en calcul que les modèles non adaptatifs. Cependant, une bonne chose à propos des modèles adaptatifs est que, puisque le modèle ne s'entraîne pas à partir de zéro, pour chaque recyclage, le coût de calcul supplémentaire peut être faible si le modèle précédemment formé est utilisé pour le début de la prochaine itération de recyclage.

Pour les exploiter, il existe aujourd'hui une pléthore de plates-formes basées sur le cloud qui fournissent une modélisation adaptative en tant que service.

Ceux-ci incluent Google Could AutoML, Microsoft Azure, DataRobot et bien d'autres.

Cependant, ce qui a particulièrement retenu mon attention, ce sont les modèles d'apprentissage automatique adaptatifs de Toloka .

Au cours de mon exploration, j'ai trouvé quelque chose de particulièrement intéressant à propos de Toloka. En plus de fournir une expérience transparente pour tirer parti des modèles adaptatifs (comme le font les autres acteurs), Toloka est suralimenté avec sa foule mondiale d'étiqueteurs de données pour la validation des données. (Plus d'informations à ce sujet à venir)

Par conséquent, dans ce blog, je partagerai mon expérience d'utilisation de Toloka et vous expliquerai le processus d'utilisation des modèles d'apprentissage automatique adaptatif de Toloka.

Commençons !

Présentation de Toloka

Toloka , si vous ne le savez pas, est un environnement qui facilite le développement rapide et efficace de modèles d'apprentissage automatique.

Il s'agit d'une plate-forme unifiée pour la collecte et l'étiquetage des données , la formation et le déploiement de modèles et la surveillance de leurs performances .

Ses services englobent l'ensemble du cycle de vie ML, permettant aux équipes ML de produire leurs solutions plus rapidement.

J'ai également découvert que les modèles formés avec Toloka sont non seulement régulièrement recyclés, mais également régulièrement vérifiés, ce qui conduit à une surveillance des modèles prête à l'emploi.

En tant qu'opérateur des modèles adaptatifs, je peux régulièrement voir les performances du modèle par rapport aux étiquettes de vérité terrain récemment mises à jour obtenues à partir d'annotateurs humains, et donc ne pas manquer des anomalies ou d'autres événements.

Les avantages

Selon mon exploration, avec les services de Toloka, on peut :

1. Réduisez considérablement le temps et les coûts de déploiement de leurs solutions ML, sans investir dans l'infrastructure.
2. Déployez rapidement des services intelligents avec
   une surveillance automatisée des modèles et une formation régulière.
3. Automatisez un cycle de développement ML typique en seulement quatre étapes (voir ci-dessous).
4. Obtenez une meilleure précision dès la première itération en commençant par
   des modèles pré-entraînés.
5. Tirez parti de la foule mondiale d'étiqueteurs humains pour valider les données entrantes. De cette façon, on peut identifier et corriger les erreurs ou les incohérences qui peuvent être présentes dans les données, même à grande échelle.

Pour aller plus loin, la stratégie d'IA n'est pas bien définie (ou planifiée) à ce stade dans de telles organisations.

Pourtant, dès le départ, l'organisation (si elle choisit d'auto-héberger le processus de développement) doit investir considérablement dans l'embauche de talents pertinents, la création d'un entrepôt de données et d'environnements de développement et de production.

Cependant, avec la collection de modèles pré-formés intégrée à l'API de Toloka , il est possible d'adapter automatiquement ces modèles à leurs flux de données.

Modèles adaptatifs de Toloka

Comme indiqué ci-dessus, avec Toloka, on peut ignorer les étapes répétitives du cycle de vie ML en utilisant Toloka.

En conséquence, j'ai moi-même testé leur service et formé un modèle sur un jeu de données factice. L'image ci-dessous donne un aperçu de ce processus.

Les étapes sont expliquées ci-dessous :

Étape 1 : Choisissez un modèle

Vous commencez par sélectionner un modèle pré-formé dans la liste des modèles de Toloka qui correspond à votre tâche et au type de données. Ceci est illustré ci-dessous :

J'ai sélectionné l'analyseur de sentiment général ci-dessus.

Étape 2 : créer un projet

Ensuite, en fournissant un jeu de données pertinent, nous pouvons affiner les modèles existants de Toloka.

Ici, j'ai téléchargé un fichier CSV en sélectionnant "Créer votre jeu de données" et en le nommant "données factices brutes".

Après avoir téléchargé les données, vous pouvez les voir dans la liste déroulante Dataset.

Ensuite, j'ai fourni les détails demandés tels que le nom de la colonne de texte sur laquelle appliquer l'analyseur de sentiments et la colonne d'étiquette.

Enfin, exécutez le modèle.

Sous l'onglet "Registry", nous pouvons voir l'instance lancée :

Comme mentionné ci-dessus, ce que j'ai trouvé particulièrement intéressant dans les modèles adaptatifs de Toloka, c'est qu'ils sont alimentés par des services humains dans la boucle.

En conséquence, cela donne à l'utilisateur l'accès à une foule mondiale de millions de Tolokers (également appelés étiqueteurs de données). Ils sont instantanément disponibles dans tous les fuseaux horaires pour l'étiquetage à la demande, la mise à l'échelle instantanée et les projets multilingues.

Selon leurs statistiques officielles, Toloka dispose d'un réseau de plus de 100 pays et prend en charge plus de 40 langues. Cette foule peut être utilisée pour effectuer des contrôles de qualité sur les données et les prédictions du modèle.

Pour tirer parti de Tolokers, il convient de configurer des tâches pour les données données. Toloka envoie ensuite les données à Tolokers pour étiquetage et vérification.

Étape 3 : Commencez à utiliser le modèle

Une fois les tâches paramétrées et le modèle entraîné, vous pouvez intégrer le modèle adapté à vos données dans vos projets via l'API Toloka.

De plus, vous pouvez également commencer à recevoir des étiquettes générées par des modèles en temps réel et des étiquettes annotées de Tolokers pour vos flux de données.

Étape 4 : Laissez Toloka déployer, surveiller et mettre à jour votre modèle

Enfin, avec le service de surveillance de Toloka, vous pouvez vérifier la qualité et les performances du modèle.

Les prédictions sont également vérifiées à travers les annotations humaines de vos données, ce qui fournit un contrôle de qualité supplémentaire en plus des étiquettes que vous avez fournies dans votre flux de données.

De plus, Toloka réentraîne votre modèle si nécessaire pour éviter toute dérive du modèle et également maintenir le modèle synchronisé avec les flux de données fournis.

Conclusion

Dans le domaine de la résolution de problèmes réels en déployant des modèles d'apprentissage automatique, il est certain qu'avec le temps, la distribution des données changera.

Par conséquent, les modèles entraînés sur d'anciennes données n'apporteront probablement que peu de valeur à l'avenir.

Les modèles adaptatifs sont une excellente solution dans de telles situations, car ils s'adaptent constamment aux flux de données entrants.

Néanmoins, la construction de modèles adaptatifs internes intégrés avec les utilitaires de formation et de surveillance nécessaires en soi peut être un processus difficile et fastidieux.

Ici, les modèles adaptatifs proposés par Toloka constituent un choix approprié, ce qui réduit la lourde charge du déploiement, de la surveillance et de la mise à jour du modèle en cas de besoin.

Dans l'ensemble, dans toute cette expérience, tout ce que j'étais censé faire était de télécharger un ensemble de données. Par conséquent, Toloka a tout géré par lui-même.

Cela a évité les maux de tête habituels car Toloka a automatisé le réglage, l'évaluation, le déploiement et la surveillance du modèle.

De plus, leurs modèles adaptatifs, associés aux services human-in-the-loop, peuvent changer la donne, car cela permet un contrôle de la qualité des données entrantes par rapport aux étiqueteurs humains (Tolokers).

Dans un prochain blog, j'aborderai plus en détail la comparaison des modèles adaptatifs de Toloka avec d'autres services tels que Huggingface Autotrain, Labelbox et bien d'autres.

Merci d'avoir lu!