Des réseaux de neurones pour tous

Il m'a fallu une expo-sciences de 6e année pour former mon premier réseau de neurones depuis longtemps. Ma famille vit dans une parcelle rurale du nord de la Californie remplie de chênes, de séquoias et d'autres plantes indigènes. Pour la prochaine expo-sciences, mon fils a décidé de créer un modèle d'apprentissage automatique pour identifier les arbres locaux. Nous avons marché le samedi après-midi pour prendre des photos et construire un ensemble de données, tandis que le samedi soir, nous avons travaillé sur un modèle de réseau de neurones. L'expo-sciences est dans deux mois et j'ai pensé que nous aurions besoin de ce temps pour construire un modèle décent. Il s'avère que j'ai largement sous-estimé à quel point l'apprentissage automatique est devenu facile et accessible. La version 1 était complète après seulement quelques heures avec une précision surprenante. Nous avons utilisé le même moteur d'IA puissant que de nombreux laboratoires de recherche en IA de premier plan. Nous avons fait le tout sur un navigateur et c'était gratuit.

J'ai rencontré les réseaux de neurones pour la première fois dans un cours universitaire sur l'IA pendant le soi-disant hiver de l'IA de la fin des années 90. C'était un point bas d'enthousiasme pour l'IA en général, et les réseaux de neurones en particulier. Malgré les avancées théoriques des années 80, l'applicabilité commerciale était limitée et relativement peu de laboratoires de recherche se concentraient sur les réseaux de neurones. Pourtant, j'étais intrigué par les approches biologiques de l'IA et j'ai expérimenté différentes approches et applications de formation. J'ai construit des modèles de réseaux de neurones et codé les algorithmes d'entraînement principalement à partir de zéro dans le lisplangage de programmation. La formation pouvait prendre des heures et il n'y avait pas beaucoup de données de formation disponibles. Pendant un certain temps, j'ai rejoint un laboratoire d'IA à l'UC San Diego pour explorer davantage les réseaux de neurones, mais j'ai fini par passer à autre chose. Il faudra encore 15 ans avant que les réseaux de neurones ne décollent vraiment et que le terme « apprentissage en profondeur » ne devienne largement utilisé.

Au cours de la dernière décennie, les réseaux de neurones sont entrés dans une nouvelle renaissance alimentée par les GPU, le cloud computing, des ensembles de données massifs et des progrès continus dans les algorithmes d'apprentissage. Les applications commerciales ont explosé. Les applications incluent la reconnaissance vocale (Siri, Alexa), la traduction (Google Translate), la génération de texte (GPT-3 d'OpenAI), la reconnaissance d'images (Tesla Autopilot, Adobe Sensei), la génération d'images (Dall-E 2, Midjourney, Stable Diffusion), la reconnaissance faciale reconnaissance (Apple Photos), génération de vidéos (Runway) et découverte de médicaments. Certaines des nouvelles applications les plus impressionnantes concernent l'IA générative , qui progresse à une vitesse époustouflante.

Avance rapide vers ce dernier week-end de Thanksgiving, qui a suscité quelques observations.

Premièrement, il est étonnamment facile de configurer et de former des modèles d'apprentissage automatique, même assez sophistiqués. Vous n'avez pas besoin de coder ou d'avoir une formation en apprentissage automatique. Il existe de nombreux outils d'apprentissage automatique sans code et AutoML qui automatisent les étapes courantes du flux de travail d'apprentissage automatique. Pour assembler vos propres flux de travail, il est utile d'avoir une connaissance de base de Python, un langage populaire dans la communauté de l'apprentissage automatique. Mon fils de 12 ans apprend le python depuis environ deux ans. De sa propre initiative, il a téléchargé TensorFlow - la bibliothèque d'apprentissage automatique qui alimente Google et OpenAI - et a rapidement fait fonctionner un exemple de modèle sur son ordinateur portable. Encore plus simple que ça, j'ai trouvé un tutosur la classification d'images qui utilise TensorFlow et s'exécute sur l' environnement Colab de Google . Colab vous permet de créer des modèles d'apprentissage automatique dans un navigateur Web et de les exécuter gratuitement sur les GPU de Google, sans télécharger ni installer aucun package. Il existe une myriade de tutoriels et de modèles pré-formés pour commencer.

Deuxièmement, les facteurs limitant le taux de déploiement de cette technologie sont l'imagination pour de nouvelles applications réelles et des données de qualité pour former des modèles. Le problème de la reconnaissance d'un type d'arbre à partir d'une image relève du domaine de la classification d'images. Comme il s'agit d'une application courante de l'apprentissage automatique, l'étape la plus difficile consiste à assembler un ensemble de données robuste. Nous n'avons pas pu trouver un ensemble de données facilement disponible d'arbres locaux étiquetés avec des noms, nous avons donc créé le nôtre. Une courte randonnée avec un iphone a donné environ 250 images. C'est minuscule par rapport aux normes d'aujourd'hui. Le dernier modèle de diffusion stable est formé à l'aide de l' ensemble de données LAION-5B récemment publié de 5,85 milliards d'images provenant du Web. Au fur et à mesure que de plus en plus d'ensembles de données deviendront publics, les obstacles au développement de modèles à usage spécifique tomberont.

Troisièmement, il existe désormais de nombreuses solutions et ressources pour mettre en production des modèles d'apprentissage automatique (ML Ops). Il y a quelques années à peine, il était difficile de former un modèle et de le déployer à la vitesse et à l'échelle du Web. Aujourd'hui, il est relativement simple de déployer des modèles dans un navigateur, sur un téléphone, sur un serveur ou dans un workflow d'entreprise.

Nous sommes entrés dans l'âge d'or des réseaux de neurones. C'est une période incroyablement excitante pour être un chercheur en IA/apprentissage profond, un entrepreneur en IA ou un étudiant intéressé par l'IA. Il existe des applications matures prêtes maintenant et un pipeline de recherche émergente sur l'IA qui alimentera des applications innovantes pour les années à venir. L'accessibilité de la technologie signifie que vous n'avez pas besoin d'un laboratoire de recherche ou d'un capital pour participer. C'est incroyable de voir comment un concept peut exister pendant des décennies (par exemple, les voitures électriques, les réseaux de neurones) mais ne pas décoller tant que les conditions ne sont pas réunies.