Vous avez probablement déjà entendu parler de ChatGPT. Ce grand modèle de langage, formé sur un ensemble de données massif, a conquis le monde avec sa capacité à interagir et à répondre aux tâches textuelles. Mais, vous êtes-vous déjà interrogé sur la technologie derrière cela ?

Qu'est ce qui a changé?

L'une des principales avancées qui ont rendu ChatGPT possible est l'article "Attention is All You Need" publié en 2017. Cet article a introduit une nouvelle architecture pour les réseaux de neurones connue sous le nom de Transformer, qui a révolutionné le domaine de l'IA. L'architecture Transformer a considérablement amélioré la capacité des modèles d'IA à gérer des données séquentielles, telles que le langage.

Avant le transformateur, la plupart des architectures de réseaux neuronaux traitaient les données d'entrée de manière séquentielle, en traitant chaque élément de l'entrée un par un. Cela limitait le parallélisme du modèle et rendait difficile la gestion de longues séquences de données.

Avec le transformateur, le modèle utilise des mécanismes d'attention pour déterminer quelles parties de l'entrée sont les plus importantes pour faire une prédiction, et concentre son traitement sur ces parties. Cela permet au modèle de gérer de longues séquences de données en parallèle, ce qui le rend plus rapide et plus efficace.

ChatGPT vs GPT-3, sont-ils les mêmes ?

Non! ChatGPT et GPT-3 ne sont pas identiques ! ChatGPT est une instance/application d'un modèle de langage GPT-3 beaucoup plus vaste et puissant développé par OpenAI.

GPT-3 est un modèle de langage autorégressif de pointe avec 175 milliards de paramètres, formé sur une gamme variée de textes Internet. Il est capable de générer du texte de type humain, de répondre à des questions, de traduire des langues et d'effectuer de nombreuses autres tâches liées à la langue.

D'autre part, ChatGPT est une version plus petite de GPT-3 spécifiquement optimisée pour l'IA conversationnelle. Il est affiné sur les données conversationnelles pour améliorer sa capacité à générer des réponses de type humain aux questions et invites en langage naturel.

« Oh, je suis sûr que ça ne peut pas faire grand-chose »

Oh s'il te plait.

hilarant incroyable n'est-ce pas?

Merveilles!

Est-ce coûteux ?

La formation de grands modèles linguistiques est une entreprise très étrange. Les ensembles de données utilisés pour former les modèles sont tokenisés et exécutés par lots, mais les modèles sont trop volumineux pour tenir dans la RAM d'un seul GPU. Vous finissez par avoir besoin de racks de serveurs, chacun avec plusieurs GPU. Cela a coûté environ 4,6 millions de dollars , rien que pour former GPT3 - et c'était *louer* des GPU cloud pour la formation.

On estime que le coût d'exécution de ChatGPT dans son aperçu de recherche actuel est actuellement d'environ 3 millions de dollars .

ChatGPT et GPT 3.5 ont été formés sur une infrastructure de supercalcul Azure AI.

Il ne fait aucun doute que la formation et l'exécution d'un modèle d'IA peuvent être une entreprise coûteuse. Le processus de formation est le plus coûteux, et comme il n'y a pas de point précis où l'on peut considérer l'IA comme parfaite, il est impératif d'améliorer continuellement l'efficacité des technologies actuelles pour réduire les coûts.

GPT-4 ?

GPT-4 va bientôt être lancé.
Et cela fera ressembler ChatGPT à un jouet…

→ GPT-3 a 175 milliards de paramètres
→ GPT-4 a 100 trillions de paramètres

Les possibilités sont infinies ! L'une des technologies les plus puissantes au monde accessible via une solution low code (API) !

Les applications potentielles de cette technologie sont vastes et nous avons hâte de voir ce que les développeurs vont proposer ensuite. Alors que l'IA continue d'évoluer et de s'améliorer, nous pouvons nous attendre à voir des innovations encore plus incroyables dans les années à venir.

Alors est-ce la plus grande opportunité de ce siècle ? Je parierais tout ce que j'ai dessus !