ChatGPT

Le ChatGPT d'OpenAI a mis le feu à Internet ! Je n'ai jamais vu autant de publications sur l'IA — mes flux Twitter et LinkedIn sont complètement submergés. En fait, je viens de lire qu'1 million de personnes l'ont utilisé en seulement 5 jours.

Pour être juste, ChatGPT est probablement le premier bon chatbot IA polyvalent au monde avec lequel tout le monde peut jouer. Les réactions ont été prévisibles - "wow", "le début de la fin", "les humains sont condamnés" ne sont que quelques réactions spontanées que j'ai eues de la part d'amis.

Mais je suis déjà venu ici. J'étais le directeur technique européen d'IBM Watson au début, lorsque nous essayions de commercialiser le Jeopardy ! La technologie. Alors, avec cette expérience, qu'est-ce que j'en pense?

Je précise que lorsque je parle de Watson dans cet article, je fais référence à la technologie développée spécifiquement pour le Jeopardy ! Afficher. IBM a par la suite développé une série de produits non liés à la marque Watson, exploitant judicieusement son expérience et son image de marque efficace, plutôt que la technologie d'origine elle-même. Mes références à Watson concernent spécifiquement le Jeopardy original ! technologie et non les produits de marque Watson qu'IBM propose aujourd'hui.

Techniquement, ChatGPT et Watson sont très différents. ChatGPT est un grand modèle de langage (LLM), construit à l'aide du modèle davinvi-003 d'OpenAI qui fait partie de sa série de modèles GPT3.5. Les modèles GPT3.5 font partie des LLM les plus grands et les plus sophistiqués actuellement disponibles. En revanche, Watson, le gagnant du jeu télévisé original, était un pipeline de différents algorithmes, dont aucun ne pouvait être décrit comme un LLM. Watson a remporté Jeopardy en 2011 - il y a plus de dix ans et à une époque où l'expression «grands modèles de langage» n'avait même pas été inventée. Il n'est donc pas surprenant que Watson et ChatGPT diffèrent sur le plan technologique - une décennie, c'est long en technologie.

Outre les différences technologiques, en tant qu'ex-Watsoner, je vois trois choses importantes à propos de ChatGPT.

Disponibilité ouverte

Premièrement, le fait qu'OpenAI ait publié ChatGPT librement pour que quiconque puisse bricoler, démontre une confiance dans ses capacités. Jetez simplement un coup d'œil aux conversations sauvages que les gens ont avec lui sur ce site Web mashup. La variété est extraordinaire - je n'ai jamais rien vu de tel. Et ça marche plutôt bien - les gens sont excités parce que ça dépasse souvent leurs attentes, ce qui n'est pas rien.

Rendre ChatGPT accessible à tous et à tous était courageux et ne fonctionnerait que s'il était vraiment impressionnant. Comparez la réception avec celle du Galactica de Meta . Galactica a été vertement critiqué et la démo n'a survécu que trois jours avant d'être retirée.

La propension de Galactica à inventer des informations scientifiques a soulevé de sérieuses inquiétudes et, quels que soient ses mérites, son accueil a été presque universellement négatif. En revanche, il est évident qu'OpenAI a fait de grands progrès avec ChatGPT. Ce n'est pas complètement parfait, mais j'ai l'impression qu'on y a beaucoup réfléchi.

Pour en revenir à Watson, le Jeopardy ! machine n'a jamais été rendue publique en partie parce qu'elle a été conçue très spécifiquement pour les questions étranges posées sur le Jeopardy ! Afficher. Nous savions que le grand public poserait des questions très différentes et trouverait rapidement des failles. Ces IA gagnantes sont très rarement rendues publiques. Que ce soit DeepMind avec Go, Meta avec Cicero, lauréat de la diplomatie, Watson, DeepBlue aux échecs - aucun de ces systèmes n'a été publié pour le bricolage public ou la critique. Cela rend ChatGPT différent de toutes ces autres percées supposées.

Évolutivité

Le fait que suffisamment de personnes jouent avec ChatGPT pour submerger mes calendriers Twitter et LinkedIn nous indique qu'il doit bien évoluer. Il reçoit beaucoup de demandes.

C'est surtout le cas que les percées de l'IA ne peuvent pas s'adapter à un grand nombre d'utilisateurs. Ils réalisent leurs percées en partie en appliquant de grandes quantités de puissance de calcul à un seul utilisateur. Si quelqu'un vous donne un centre de données complet de machines pour construire un système, c'est génial. Mais s'il faut tout un centre de données pour répondre à une question ou décider d'un coup sur un plateau de jeu, ce n'est pas seulement un sérieux problème d'évolutivité, c'est aussi un obstacle majeur à la commercialisation. Construire une machine pour battre un humain dans un jeu n'est pas du tout la même chose que construire une machine qui peut battre un million d'humains.

Le fait que littéralement des millions de personnes dans le monde jouent avec ChatGPT prouve qu'il ne nécessite pas un centre de données entier pour répondre à une seule question. Compte tenu de cela, la technologie peut absolument être commercialisée - le grand obstacle de l'évolutivité et de la viabilité économique doit déjà avoir été résolu.

Souplesse

Le Watson original a été construit pour faire une chose et une seule chose : jouer à Jeopardy ! Il en va de même pour la machine Go-winning de Deep Mind et la myriade d'autres systèmes de jeu d'IA qui ont fait la une des journaux au fil des ans.

Ces systèmes atteignent la grandeur en résolvant un problème très spécifique et ne peuvent généralement pas être appliqués facilement, voire pas du tout, à d'autres domaines. Croyez-moi, ceux d'entre nous qui ont été chargés d'obtenir le Watson Jeopardy ! la technologie pour faire d'autres choses ont des cicatrices de bataille qui démontrent à quel point cela peut être difficile.

En comparaison, les gens utilisent ChatGPT pour répondre à des questions de connaissances générales, écrire des poèmes, créer des demandes d'emploi, raconter des blagues, écrire et expliquer du code de programmation et une myriade d'autres choses aléatoires . Et il fait toutes ces choses de manière impressionnante et sans aucun effort d'entraînement supplémentaire. Contrairement aux tentatives d'IA précédentes, ChatGPT semble être bon pour beaucoup de choses dès la sortie de la boîte. Bien sûr, à la minute où je dis cela, quelqu'un me montrera quelque chose pour lequel il est mauvais. Mais, en général, je vais tenir bon – c'est impressionnant dans beaucoup de choses.

Donc, trois raisons pour lesquelles ChatGPT est un effort impressionnant : ouverture, évolutivité et flexibilité. Mais j'aimerais également commenter quelques autres aspects importants de ce que je vois avec ChatGPT.

Fabriquer des trucs

Malgré ses capacités impressionnantes, ChatGPT a toujours tendance, parfois, à inventer des trucs. La plupart du temps, il semble éviter cela, mais parfois il déviera et inventera sa propre réalité. Disons simplement qu'il est peu probable qu'il réussisse un test polygraphique.

À leur crédit, OpenAI admet librement ce défi.

"ChatGPT écrit parfois des réponses plausibles mais incorrectes ou absurdes... ChatGPT est sensible aux modifications apportées à la formulation d'entrée ou à la tentative de la même invite plusieurs fois. Par exemple, étant donné une formulation d'une question, le modèle peut prétendre ne pas connaître la réponse, mais avec une légère reformulation, peut répondre correctement.https://openai.com/blog/chatgpt/

Lorsque j'ai bricolé pour la première fois avec GPT-3 (sur lequel ChatGPT est construit), j'ai trouvé que la propension du modèle à inventer des choses était un obstacle majeur. Je connais très peu de scénarios commerciaux réels où « inventer des trucs » ne serait pas considéré comme un risque majeur pour la marque. ChatGPT semble bien meilleur, peut-être en partie parce qu'il est basé sur le modèle davinci-003, une mise à niveau du davinci-002 d'origine. Mais ce n'est pas sans faille et si une exactitude factuelle complète est importante, cette question sera un obstacle à l'adoption.

Biais

Un défi majeur avec les grands modèles de langage est les biais inhérents qui existent dans l'ensemble de formation. Ceci est difficile à éviter, étant donné que les LLM sont formés à partir de données en masse provenant d'Internet, qui comprendront pratiquement toujours des exemples de tous les vices et préjugés humains connus.

Encore une fois, OpenAI gère nos attentes.

«Bien que nous ayons fait des efforts pour que le modèle refuse les demandes inappropriées, il répondra parfois à des instructions nuisibles ou affichera un comportement biaisé. Nous utilisons l'API de modération pour avertir ou bloquer certains types de contenu dangereux, mais nous nous attendons à ce qu'elle ait quelques faux négatifs et positifs pour le moment. Nous sommes impatients de recueillir les commentaires des utilisateurs pour nous aider dans notre travail continu d'amélioration de ce système. »https://openai.com/blog/chatgpt/

D'après mon expérience personnelle, ChatGPT fait un travail décent pour éviter les préjugés et refuse fréquemment de répondre aux questions qui visent à inciter à un mauvais comportement. Mais étant donné un utilisateur déterminé, il est possible de lui faire dire des choses assez stupides. C'est bien, mais pas parfait à 100%.

Jetez juste un oeil à cette vidéo :

Oui, les préjugés raciaux et sexistes sont exposés à la vue de tous, étant donné une provocation créative (dans ce cas, déguiser l'intention raciste/sexiste en un défi de programmation, puis poser à plusieurs reprises la même question).

Ma propre expérience a été de lui demander de me raconter une histoire à l'heure du coucher. En réponse, j'ai reçu une histoire sur une princesse aux cheveux blonds et aux yeux bleus. Un peu cliché, alors je l'ai contesté.

C'est vraiment très bon. Il est difficile de persuader les LLM de toujours dire la bonne chose, mais OpenAI semble essayer. Mais le problème demeure – même si la plupart des gens ne rencontreront pas de réponses douteuses, il est possible de les provoquer si vous êtes déterminé.

Résoudre les biais et maintenir un LLM sur le droit chemin reste un travail en cours. Mais je trouve que ChatGPT en général est bien meilleur que les efforts précédents. Néanmoins, la création d'un chatbot pour une entreprise utilisant ChatGPT comporte certains risques de répétition de la marque, dirons-nous.

A quoi sert ChatGPT ?

Une fois que j'ai surmonté mon enthousiasme initial avec ChatGPT, j'ai commencé à me demander à quoi pouvait servir un système comme celui-ci. Après tout, les connaissances générales sont impressionnantes, mais à part Siri-v2, il n'est pas immédiatement évident de savoir comment il pourrait être utilisé.

Un ordinateur de culture générale qui ne veut pas donner d'opinion sur quoi que ce soit, mais qui est prêt à discuter de tout. Hmm…

Peut-être que le film de science-fiction THX 1138 a un rôle – où les habitants d'un monde souterrain, lorsqu'ils sont stressés, se retirent dans des « cabines de confession » et entament une conversation avec un ordinateur au visage de Jésus qui prétend être « OMM ». Cela pourrait le faire.

Désolé, c'était un peu désinvolte. A quoi d'autre pourrait-il servir ?

Discuter avec un généraliste est amusant, mais la plupart des choses vraiment utiles nécessitent des connaissances spécialisées. Si vous discutez avec une banque, vous avez besoin que ce chatbot sache tout sur votre compte, les produits de la banque, les règles de la finance, etc. - des choses que ChatGPT connaît peu, voire rien. Il en va de même dans la plupart, sinon la totalité, des domaines. Cela signifie que pour une véritable utilité, nous devons être capables d'enseigner à ChatGPT de nouvelles choses. Et peut-être même l'empêcher de discuter de choses hors sujet. Après tout, c'est un peu bizarre si le chatbot de votre banque parle du sens de la vie non ?

Comment allons-nous pouvoir former ChatGPT ?

Avec les LLM en général, il existe généralement deux types de formation - ce que je vais appeler la formation «de base» puis «la mise au point».

OpenAI a déjà fait la formation de base de ChatGPT et je pense qu'ils ont fait du très bon travail. Mais nous ne pourrons presque certainement pas changer cette formation de base - cela est un processus extrêmement coûteux en calcul qui consomme probablement des centaines de milliers de livres de ressources de calcul. Même si nous le pouvions, très, très peu d'entre nous pourraient se permettre de le faire.

Cela nous laisse donc avec un réglage fin. Mais dans quelle mesure cela sera-t-il efficace sur de nouveaux domaines ? Sera-t-il facile à réaliser ? Combien cela coûtera-t-il ? Quels outils OpenAI fournira-t-il ? Nous ne pouvons que deviner les réponses aujourd'hui. J'ai bon espoir, mais il n'y a aucune certitude quant à savoir comment ou si ChatGPT peut être formé pour fonctionner efficacement en tant que spécialiste dans différents domaines.

Le pouvoir d'une communauté ouverte

ChatGPT est génial, mais il est actuellement verrouillé derrière une interface Web propriétaire OpenAI. Je ne peux qu'imaginer ce que les gens en feront une fois qu'il sera à l'air libre, avec des API enfichables.

Ou, peut-être, nous pouvons déjà avoir un aperçu. Inspiré par le buzz viral, @mmabrouk_ a hacké un wrapper Python , rapidement suivi par @_wheels qui a construit une interface vocale Whisper . Ainsi, nous pouvons déjà discuter (c'est-à-dire parler à haute voix) avec ChatGPT.

L'approche d'OpenAI est également un peu différente de celle d'une grande partie de l'industrie de l'apprentissage automatique, où la publication ouverte des modèles eux-mêmes est courante. OpenAI ne publie généralement pas ses modèles GPT, mais choisit plutôt de les héberger et de fournir un accès via une API.

Pour ceux qui aiment bricoler avec des hyper-paramètres et comprendre le code sous-jacent, c'est un problème. Personnellement, je le vois juste comme une approche différente - avec des avantages et des inconvénients. Modèles/code ouverts ou API hébergées - les deux peuvent fonctionner. Mais ce qui est important, c'est que l'accès soit ouvert, car c'est de là que viendra l'innovation. Les fous avec des idées folles ont besoin de quelque chose sur quoi ils peuvent s'appuyer.

Comment toute autre chose se compare-t-elle ?

Je côtoie les chatbots depuis environ une décennie maintenant. C'est assez long pour savoir que tout le monde veut ce qui n'est pas réalisable avec la technologie d'aujourd'hui - quelque chose qui ressemble à une conversation avec un robot de science-fiction.

Le problème que pose ChatGPT est qu'il est en fait assez proche de cette vision à bien des égards. Certes, en tant qu'outil pour jouer avec les mots, il n'a pas de comparaison. Et il est difficile de ne pas se sentir étourdi en discutant avec – il impressionne de nouvelles façons chaque fois que je l'utilise. Mais est-ce juste le petit garçon en moi qui sort ? Ce même petit garçon qui a été émerveillé par Eliza sur son Commodore 64 dans les années 80. L'IA a une longue histoire de fausses aubes et bien que j'aie été impressionné par Eliza à l'époque, ce n'est pas la base de l'IA d'aujourd'hui.

Avec ChatGPT, nous avons tous vu nos attentes réinitialisées quant à ce que peut être un chatbot. Les résultats de cela vont être intéressants. Quiconque essaie de concourir sur le même "nous avons un excellent terrain d'IA" va probablement faire face à une lutte.

Est-ce vraiment de l'IA ?

Un dernier point sur lequel j'aimerais terminer est de savoir comment ChatGPT se compare à notre propre cerveau. Après tout, si nous nous efforçons de développer l'intelligence artificielle, ce n'est pas un mauvais comparateur.

Ian Bogost soutient que ChatGPT est un jouet et qu'il ne comprend vraiment rien de la façon dont nous le faisons. Il se plaint que ce ne sont que des mots régurgités et n'a aucune compréhension de ce que ces mots signifient. Astucieusement, la première partie de son article Atlantic s'avère, elle-même, avoir été générée par ChatGPT.

Bien sûr, Ian a raison - toute personne ayant une compréhension des LLM sait qu'elle ne «comprend» pas. Et pourtant… comment « comprendre » ? Nos cerveaux ne sont-ils pas seulement, en partie du moins, des machines géantes d'appariement de motifs ? La « compréhension » pourrait-elle simplement être une meilleure correspondance de modèles ? Lorsque nous « apprenons quelque chose », ne sommes-nous pas simplement en train d'établir des schémas pour que notre cerveau les associe plus tard ?

Peut-être devrions-nous moins penser à nous-mêmes en tant qu'êtres humains et plus à un animal avec un cerveau plus simple - un insecte, un lézard, une souris. L'appariement de motifs semble être une bonne description du comportement de ces animaux. Je me moque souvent de mes chats parce qu'ils sont tellement épris de routine - asseyez-vous dans un endroit pour une sieste un jour et si cela fonctionne bien, ils resteront assis là tous les jours jusqu'à l'éternité. Cela me semble être un pattern matching.

Mais il semble aussi que, avec des animaux d'ordre supérieur tels que les humains, il se passe un peu plus. Simon Sinek est célèbre pour son analogie du "cercle d'or" . Il compare son modèle aux structures du cerveau - le néocortex qui contrôle la pensée rationnelle et le cerveau limbique qui est responsable de réactions plus instinctives. Je me demande si nous atteignons peut-être un point où nous avons une certaine approximation d'un cerveau limbique avec des choses comme ChatGPT, mais n'avons pas encore augmenté cela avec un néocortex artificiel - quelque chose qui augmente l'appariement de modèles avec la pensée rationnelle. Ou, juste peut-être, notre cerveau s'appuie plus sur l'appariement de modèles que nous n'avons voulu le reconnaître. Si tel était le cas, peut-être avons-nous simplement besoin de modèles de langage encore plus grands (ELLM) ?