Dans ce blog, je passerai en revue le processus d'utilisation de l'apprentissage par renforcement (RL) pour créer et améliorer un modèle de grande langue tel que ChatGPT. Je montrerai ensuite comment OpenAI et Microsoft peuvent utiliser RL pour empêcher leurs concurrents de les concurrencer sur le marché de l'IA générative. Je proposerai ensuite des stratégies aux nouvelles startups pour attaquer la forteresse. Tout d'abord, examinons ce que nous entendons par un «fossé» qui empêche les attaquants d'atteindre le château ChatGPT.

Contexte du modèle des cinq forces de Porter

En 1979, Michael Porter a publié son article fondateur sur l'analyse de la nature concurrentielle d'une industrie. Nous appelons maintenant ce processus l'analyse des cinq forces de Porter . Nous pouvons utiliser le diagramme ci-dessous pour visualiser un ensemble de points de pression sur un marché donné.

OpenAI facture un modeste 20 $/mois pour un accès premium à ChatGPT. Il existe également une version gratuite avec plus de 100 millions d'utilisateurs . OpenAI utilise ces utilisateurs comme méthode pour obtenir des commentaires et améliorer leur modèle.

Lorsque nous regardons ChatGPT objectivement, il n'y a vraiment aucun autre outil accessible au public qui se rapproche de ses capacités. Bien que l'interface utilisateur soit primitive, la qualité du texte généré est étonnante par rapport à ses rivaux. C'est le seul modèle qui soit aussi général et qui ait autant d'utilisations différentes .

Donc, pour le moment, nous ne pouvons placer OpenAI que dans le cercle de l'IA générative ci-dessus. Mais cela va changer, et nous comprendrons pourquoi Microsoft a investi 10 milliards de dollars dans OpenAI.

Pour cette analyse, nous ignorerons le pouvoir de négociation des acheteurs puisqu'il n'y a pas de concurrence. Le pouvoir de négociation des fournisseurs est le matériel GPU NIVIDA au sein de Microsoft Azure et les développeurs de logiciels au sein d'OpenAI. Ceux-ci ne peuvent pas être ignorés à long terme, mais pour l'instant, il y a suffisamment d'argent pour acheter à la fois le matériel et payer les développeurs OpenAI. Cela laisse une force dont nous devons tenir compte : les menaces des nouveaux entrants. Il existe des menaces de substituts pour ChatGPT, telles que l'utilisation d'un moteur de recherche ou la lecture de livres pour trouver des informations. Aucune de ces options n'est attrayante.

Menaces des nouveaux entrants

En regardant le diagramme ci-dessus, la force maximale est appelée la menace des nouveaux entrants . Il se compose des autres grandes entreprises technologiques qui sont déjà profondément investies dans le domaine des grands modèles linguistiques. Ceci comprend:

1. Google - qui ont des connaissances sur la recherche et les commentaires pour créer de nouveaux modèles
2. Amazon - dispose de grandes équipes de personnes travaillant sur l'apprentissage automatique pour promouvoir leurs services cloud afin de former des modèles de grande langue
3. Meta - où Facebook rassemble environ 50 000 faits sur les utilisateurs qui peuvent être utilisés pour faire des prédictions détaillées sur les publicités sur lesquelles ils pourraient cliquer
4. HuggingFace - permet aux développeurs d'accéder facilement aux modèles 100K et de les affiner à l'aide d'applications Spaces simples et rapides.

OpenAI a une avance considérable. OpenAI a publié pour la première fois son article GPT le 11 juin 2018 . Cela a été suivi le 14 février 2019 avec GPT-2, qui avait 1,5 milliard de paramètres. Cela a été suivi par le révolutionnaire GPT-3 le 11 juin 2020, qui a grimpé à un incroyable 175 milliards de paramètres. Ces résultats étaient impressionnants car la qualité du texte généré par GPT-3 était incroyable. Mais OpenAI n'a pas ralenti. Ils ont ajouté des modèles qui ont affiné le modèle de base GPT-3 avec une meilleure détection de l'intention pédagogique et ont également intégré un autre modèle formé sur un logiciel appelé Codex.

Chaque fois qu'un utilisateur donne un coup de pouce ou un pouce vers le bas, il y a plus de données à améliorer pour les modèles d'OpenAI. Après tout ce travail, ils ont appliqué une autre couche logicielle appelée Reinforcement Learning with Human Feedback ou RLHF. RLHF est toujours utilisé aujourd'hui pour ces 100 millions d'utilisateurs.

Trois barrières à l'entrée pour les assistants cognitifs

Voici les trois principaux facteurs qui empêchent les nouveaux entrants de se joindre à la mêlée contre ChatGPT.

1. Le talent de l'IA — Avez-vous du personnel qui apprécie profondément la PNL et les grands modèles de langage ? Ont-ils une bonne compréhension de la représentation des connaissances des données de votre organisation ? Votre organisation peut-elle embaucher et retenir ce talent dans une industrie en effervescence ?
2. Les coûts du matériel de formation — Votre organisation a-t-elle accès à des milliers de GPU/TPU/IPU ou HBU pour former et affiner les modèles de grande langue ?
3. Les commentaires — Avez-vous des centaines de milliers d'utilisateurs qui sont prêts à vous faire part de leurs commentaires ? OpenAI compte aujourd'hui plus de 100 millions d'utilisateurs, et ce nombre devrait augmenter à mesure qu'ils affinent leurs modèles avec ces commentaires.

Appliquer une pensée systémique

Lorsque nous appliquons les principes de la pensée systémique à ce problème, nous voyons un diagramme de boucle causale (CLD) avec un cycle de renforcement positif. Il ressemble à ce qui suit :

Ce petit CLD peut être expliqué en décrivant les relations :

1. Data to Model - nous utilisons des données pour créer des modes d'apprentissage automatique.
2. Model to Prediction - nous utilisons des modèles d'apprentissage automatique pour faire des prédictions sur l'avenir en fonction des connaissances antérieures.
3. Les prédictions permettent la rétroaction - une fois que nous pouvons faire des prédictions raisonnablement bonnes, les humains nous donneront des commentaires.
4. Les commentaires sont des données — nous pouvons utiliser les commentaires comme de nouvelles données pour améliorer nos modèles.

Vous pouvez en savoir plus sur le rôle de la pensée systémique sur les blogs The God Graph et Systems Thinking for Knowledge Management .

Le volant d'inertie de l'IA avec rétroaction humaine

La figure ci-dessus est le "volant d'inertie de l'IA" classique qui décrit comment les organisations collectent des données, construisent des modèles prédictifs, font des prédictions et utilisent les commentaires humains pour collecter plus de données afin de faire de meilleures prédictions. J'utilise ce modèle dans presque tous les cours de KR et d'IA que j'enseigne , car il est fondamental pour comprendre comment les entreprises utiliseront les commentaires pour créer de nouveaux assistants cognitifs.

J'ai modifié la boucle traditionnelle simplifiée à 4 composants (données, modèle, prédiction, rétroaction) pour inclure quelques détails supplémentaires. Il y a deux caractéristiques essentielles du diagramme sur lesquelles nous voulons nous concentrer.

Tout d'abord, nous voulons nous assurer que tout le monde comprend que les commentaires sont contextuels. Vous voulez non seulement savoir que les commentaires proviennent d'un humain, mais vous voulez connaître le contexte de cette personne dans son environnement. S'il s'agit de commentaires pour une suggestion de codage, vous voulez savoir s'il s'agit d'un développeur senior ou junior. S'il s'agit de commentaires sur une lettre générée, vous voulez savoir si le lecteur est un expert en la matière ou un novice. Le contexte est tout, donc si vous n'utilisez pas de graphe de connaissances, vous jetez la plupart de vos informations sur l'humain qui vous donne des commentaires.

La seconde est de comprendre que vous ne collecterez pas d'informations auprès des humains à moins que vous ne leur apportiez de la valeur. Cela signifie que si au moins 1/3 de vos suggestions ne sont pas correctes, l'utilisateur désactivera vos suggestions. Ils sont plus ennuyeux qu'ils ne valent la peine. C'est pourquoi si votre modèle prédictif n'est pas au seuil de 1/3, vous devrez peut-être payer les utilisateurs pour qu'ils vous donnent leur avis. C'est exactement ce que des entreprises comme OpenAI ont dû faire avant le lancement de leur produit. Une fois que les gens ont commencé à l'utiliser (gratuitement), le flux de commentaires a commencé à affluer. Et à chaque clic, le fossé autour de ChatGPT s'élargit.

Conclusion

En résumé, la rétroaction et l'apprentissage par renforcement provoquent des effets de réseau qui continueront de concurrencer le marché général axé sur ChatGPT pour les assistants cognitifs généraux. Si vous êtes une petite entreprise, vous ne disposez peut-être pas des ressources nécessaires pour être compétitif dans ce domaine. Cela laisse encore de nombreuses opportunités aux petites entreprises pour créer des assistants cognitifs qui travaillent sur des disciplines étroites avec accès à des données spécialisées et à des bénévoles pour les aider à affiner leurs prédictions. Enfin, les petites startups devraient envisager des systèmes de licence tels que les modèles Davinci GPT-3 d'OpenAI et les intégrer dans les produits.