ChatGPT, un nouveau service d'Open AI, a pris d'assaut Internet avec sa capacité à générer du langage naturel dans des démonstrations impressionnantes que nous n'avons jamais vues auparavant. ChatGPT peut rédiger des essais, créer des documents de recherche et même résoudre certains problèmes mathématiques. Open AI a accumulé plus d'un million d'utilisateurs en seulement cinq jours après sa sortie. Avec cette réponse inédite, il vaut la peine de prendre le temps de comprendre ce que c'est, à quoi ça sert et où il faut potentiellement l'éviter.

Qu'est-ce que c'est?

ChatGPT est un grand modèle de langage. Les avancées dans les grands modèles de langage ont conduit à une explosion de nouvelles capacités de traitement du langage naturel (TAL) au cours des 5 dernières années. Tous les modèles d'apprentissage automatique apprennent à partir des données de vérité terrain (données que nous savons être vraies). Il peut être lent et coûteux de demander à des experts d'attribuer des étiquettes à suffisamment de données pour former un modèle d'apprentissage automatique. Un changement crucial s'est produit dans la PNL avec l'idée d'une formation de modèle de langage masqué. Avec cette technique, on prend des phrases connues, on cache quelques mots puis on construit un modèle pour essayer de prédire le mot masqué.

Je vais à New York, et je vais voir un ________

C'est quoi le blanc ? : spectacle, jeu, comédie musicale... Jeu des Yankees

Un modèle de langage est capable d'apprendre que chacune de ces options est une solution viable pour le mot manquant. Avec suffisamment d'exemples, le modèle de langage peut apprendre le mot ou la phrase qui aura la plus grande probabilité de remplir correctement le blanc. De plus, à partir de la manière dont les mots (spectacle, jeu, musical) sont utilisés, dans d'autres textes, le modèle peut apprendre qu'ils sont synonymes. Alors que les Yankees sont utilisés dans différents contextes et différentes caractéristiques sont apprises. Les Yankees et les comédies musicales sont tous deux associés à New York, mais les comédies musicales sont synonymes de pièces de théâtre tandis que les Yankees sont associés au baseball.

Lorsque nous utilisons une formation de modèle de langage masqué, tous les mots écrits deviennent notre vérité fondamentale. Nous pouvons appliquer cela à tous les articles de Wikipédia, du New York Times et des critiques de produits sur Amazon. Les grands modèles de langage entraînés sur une quantité pratiquement infinie de texte avec plus de 1 billion de paramètres entraînables sont capables de faire des choses vraiment impressionnantes.

Le modèle linguistique a appris plus que les définitions des mots, il a mémorisé certains faits sur les personnes et les lieux.

Qu'est-ce que ChatGPT a fait différemment ?

ChatGPT n'est pas le premier modèle de langage et ce n'est pas le plus grand modèle de langage. L'innovation significative de ChatGPT est l'application de l'apprentissage par renforcement humain dans la boucle à la sortie de son modèle de langage antérieur nommé GPT-3. Les modèles précédents ont produit des résultats impressionnants, mais le langage sonnait un peu maladroit, comme un robot. Open AI a montré plusieurs modèles de réponses aux personnes et leur a demandé de classer les réponses par ordre de pertinence perçue. Le modèle a progressivement appris des réponses; le modèle a appris quelles caractéristiques de la langue les gens préféraient voir. La combinaison de l'apprentissage de tous les textes sur Internet, puis de l'ajustement avec les préférences humaines apprises a produit des résultats plus fluides que tout travail antérieur dans le domaine.

À quoi ça sert?

ChatGPT va produire un langage bien écrit dans un format logique.

Cet exemple n'est pas assez spécifique aux conditions d'une entreprise particulière pour être utilisé tel quel, mais il couvre définitivement les sujets dans un ordre logique qu'un programme d'IA d'entreprise peut vouloir prendre en compte dans le cadre de ses plans. C'est un bon point de départ pour un plan bien écrit.

Ainsi, si vous avez besoin de créer un document et que vous pouvez le faire sans envoyer d'informations propriétaires dans l'invite , l'utilisation de ChatGPT comme assistant de rédaction peut être productive. Ethan Mollick, professeur à la Wharton School of Business de l'Université de Pennsylvanie, a déclaré à NPR dans une interview sur Morning Edition , qu'il l'a utilisé comme assistant de son propre professeur, pour l'aider à élaborer un programme, une conférence, un devoir et une rubrique de notation. pour les étudiants MBA. Semblable à la façon dont nous utilisons Google aujourd'hui, l'utilisation d'assistants IA pour multiplier la productivité personnelle est une tendance qui ne fera qu'augmenter.

ChatGPT ne fonctionne que sur des serveurs hébergés par Open AI ; Ainsi, toutes les données que vous utilisez pour interagir avec le système sont enregistrées sur leurs serveurs. Il s'agit d'une limitation assez sévère de ce que nous pouvons faire avec ChatGPT dans un environnement d'entreprise. Par exemple, il serait intéressant d'envoyer des questions au service client à ChatGPT pour voir comment le service répondrait, mais il ne serait pas approprié de mettre nos données propriétaires sur des serveurs Open AI.

Risque de faux positif

ChatGPT est conçu pour imiter l'écriture humaine et il a appris quelques faits sur le monde. Cependant, il produira toujours des réponses sonores confiantes qui sont complètement fausses. Il est peu probable que ChatGPT produise une réponse "Je ne sais pas". Il est plus susceptible de produire des réponses qui semblent plausibles de manière convaincante.

Par exemple, Teresa Kubacka , une data scientist basée à Zurich, en Suisse, a testé l'outil en l'interrogeant sur un phénomène physique inventé. "Je l'ai délibérément interrogé sur quelque chose dont je sais qu'il n'existe pas afin que je puisse juger s'il a également la notion de ce qui existe et de ce qui n'existe pas", a-t-elle déclaré. ChatGPT a produit une réponse si spécifique et plausible, étayée par des citations, qu'elle a dû enquêter pour savoir si le faux phénomène, "un électromagnon inversé cycloïdal", était réellement réel. ChatGPT a produit des noms d'experts en physique bien connus, mais les titres des publications qu'ils sont censés avoir rédigés n'existaient pas.

Donc, à ce stade, il est important de garder un être humain au courant de toute utilisation de ChatGPT et de vouloir vérifier les faits produits par ses réponses.

Apprentissage accéléré

Un autre bon cas d'utilisation de ChatGPT consiste à découvrir un nouveau sujet. Il peut assembler un résumé concis d'un sujet ou produire un résumé d'un document plus complexe en termes plus simples. ChatGPT se souvient de vos dernières interactions, vous pouvez donc poser des questions de suivi. Cette capacité à prendre en charge des questions de suivi qui peuvent aller plus loin que la requête initiale distingue ChatGPT de la simple lecture de la page Wikipedia. ChatGPT peut vous donner une introduction rapide sur un sujet, mais n'oubliez pas que vous devez toujours vérifier les faits pour vous assurer qu'il ne vous a pas raconté de grandes histoires.

Extraits de code

Les développeurs de logiciels et les scientifiques des données font leur travail aujourd'hui avec un tas d'onglets ouverts dans leur navigateur, dont beaucoup pointaient vers Stack Overflow, un outil de crowd source où les gens partagent des solutions aux problèmes de codage. Nous faisons tous cela parce que personne ne se souvient de toute la syntaxe de chaque fonction dans chaque langage de programmation que nous devons utiliser. ChatGPT a appris des données de Stack Overflow et d'autres sites similaires. Ainsi, ChatGPT peut produire efficacement des exemples de code fonctionnels que vous pouvez utiliser dans vos projets. Dans ce cas d'utilisation, nous devons à nouveau faire attention à ne pas partager de code source propriétaire avec Open AI. Aussi tentant que cela puisse être de coller un bloc de code dans ChatGPT et de lui demander de trouver la source du bogue, cela enverrait votre code source à Open AI, probablement pas ce que vous voulez faire.

Disponibilité et performances

À ce stade, ChatGPT est proposé en tant que service entièrement gratuit. Il est donc victime de sa propre popularité. À tout moment, les utilisateurs ne peuvent être sûrs que le service aura une capacité suffisante pour répondre à la demande. Les utilisateurs reçoivent souvent un message d'erreur indiquant qu'il n'y a pas assez de capacité pour prendre en charge plus d'utilisateurs en ce moment. Dans un état futur, où le matériel dédié dans le cloud pourrait être alloué en fonction de la demande budgétisée, cette contrainte peut être résolue. Il convient de noter que l'inférence de modèle avec des modèles aussi volumineux que ChatGPT prend beaucoup de temps de traitement GPU. On estime qu'Open AI dépense 3 millions de dollars par jour pour faire fonctionner la démo actuelle.

Alternatives

ChatGPT n'est pas le seul grand modèle de langue disponible ; c'est juste le modèle qui retient le plus l'attention de la presse aujourd'hui. Google a produit un modèle appelé Flan-T5 qui est compétitif avec ChatGPT et présente quelques avantages. Flan-T5 n'a pas la fluidité et la facilité d'utilisation de ChatGPT, mais il compense en ce sens qu'il est entièrement open source et peut être exécuté sur votre matériel local sans partager de données avec Google ou qui que ce soit d'autre.

Conclusion

ChatGPT est un nouveau développement impressionnant pour la PNL, et je m'attends à ce que la vitesse de livraison de solutions d'IA comme celle-ci se poursuive à un rythme rapide. ChatGPT est un excellent outil pour démarrer une tâche d'écriture ou pour trouver une syntaxe spécifique dans un langage de programmation populaire. Lorsqu'il est utilisé comme prévu, il peut offrir une augmentation significative de la productivité. Vous devez vérifier les faits générés par le chat bot, car il invente parfois des choses et vous devez faire attention à ne pas envoyer de données propriétaires dans les serveurs d'Open AI. Pendant ce temps, vous pouvez profiter de solutions entièrement open source similaires à ChatGPT pour continuer à faire progresser en toute sécurité les capacités NLP de votre entreprise.