Comprendre ChatGPT et ses implications révolutionnaires

Nous avons tous entendu parler des chatbots, n'est-ce pas ? ils craignent, et ils sont une blague. Mais que se passerait-il si un chatbot fonctionnait et comprenait et répondait ? Imaginez avoir un programme qui peut vous donner des recherches sur les investissements, générer et déboguer du code, et créer un bot Twitter pour vous lorsque vous n'avez aucune connaissance du codage, créer un plan de perte de poids, un soutien en santé mentale, un spécialiste du marketing et du référencement, écrire des essais, et beaucoup plus. C'est maintenant une réalité avec un programme nommé ChatGPT , qui est sorti le 30 novembre 2022, et pourrait transformer le travail d'un homme en la productivité de 10 hommes. Dans ce blog, j'aborderai brièvement la technologie et ce que cela pourrait signifier pour le monde en général.

OpenAI (la société derrière chatGPT) a reçu un financement et un soutien importants pour son travail sur ChatGPT et d'autres modèles de langage d'IA. En 2021, il a levé 1 milliard de dollars lors d'un cycle de financement dirigé par Microsoft , qui a été un partenaire essentiel dans le développement de ChatGPT et d'autres projets OpenAI. En plus de Microsoft, OpenAI a également reçu des financements d'autres grandes entreprises technologiques et investisseurs, notamment Nvidia, Sam Altman et Elon Musk. Depuis sa sortie, il est devenu un phénomène Internet, et en seulement cinq jours après sa sortie, il a franchi 1 million d'utilisateurs. La capacité de poser des questions ouvertes et de recevoir une réponse qui n'est pas codée à la main a un marché avec une demande pratiquement illimitée.

COMMENT ÇA FONCTIONNE?
ChatGPT est une version améliorée de GPT-3 , qu'OpenAI appelle GPT-3.5. GPT-3 est formé sur des milliards de mots sur Internet, et lors de la génération de texte, il essaie de prédire le mot suivant dans une phrase donnée. Le problème avec les modèles de langage GPT-3 était qu'ils pouvaient effectuer des tâches en langage naturel. Pourtant, il n'a pas filtré les mots mensongers et toxiques ou reflété des sentiments nuisibles. Une technique appelée apprentissage par renforcement à partir de la rétroaction humaine(RLHF) a été utilisé pour rendre les modèles du GPT-3 plus sûrs. En bref, ils ont ajouté une rétroaction humaine au processus de formation. Essentiellement, pendant la formation, plusieurs versions de réponses ont été classées par les humains du meilleur au pire, et lorsque l'IA s'est améliorée, elle a été récompensée numériquement. Ces données sont utilisées pour affiner GPT-3. Les modèles InstructGPT résultants sont bien meilleurs pour suivre les instructions que GPT-3. Ils inventent également des faits moins souvent et montrent de petites diminutions de la génération de sorties toxiques. Cette méthode produit un modèle de langage IA cent fois plus petit que GPT-3 mais plus performant. La véritable percée a été les humains impliqués dans le processus de formation.

Tout d'abord, un ensemble de données de démonstrations écrites par l'homme sur des invites a été soumis à une API et a été utilisé pour former les lignes de base d'apprentissage supervisé. Ensuite, un ensemble de données de comparaisons étiquetées par l'homme entre deux sorties de modèle sur un ensemble plus large d'invites d'API a été collecté. Ensuite, le modèle de récompense (RM) sur cet ensemble de données a été formé pour prédire quelle sortie les étiqueteurs préféreraient. Enfin, ils ont utilisé ce RM comme fonction de récompense et affiné la politique GPT-3 pour maximiser cette récompense en utilisant l' algorithme PPO .

Dans le graphique suivant, les notes de qualité de tous les modèles sont fournies par rapport à la taille du modèle, et il est clair que InstructGPT gagne avec une marge claire. Comparé à GPT-3, InstructGPT produit moins de faussetés imitatives (selon TruthfulQA17) et est moins toxique (selon RealToxicityPrompts18).

Pour entrer plus en détail sur le travail et les résultats de l'organisation OpenAI sur ChatGPT, rendez-vous sur leur blog officiel . Ils ont beaucoup expliqué le fonctionnement du modèle d'un point de vue technique.

POURQUOI CETTE POPULARITE ?
Ici, je vais donner quelques exemples et vous laisser être le juge.

a) Certains utilisateurs ont écrit sur Twitter que chatGTP fonctionnait mieux que n'importe quelle interface de discussion sur la santé mentale qu'ils avaient utilisée. Un exemple de capture d'écran est fourni.

b) Voici un exemple de quelqu'un qui encadre une personne peu alphabétisée. Il a créé un compte Gmail alimenté par GPT qui convertit la mauvaise écriture de son client en texte professionnel.

c) Un autre exemple inclut un utilisateur utilisant chatgpt pour obtenir de l'aide avec son problème de santé. Apparemment, chatgpt pourrait suggérer un plan de traitement basé sur les succès et les échecs passés du problème du patient et du problème actuel.

Un autre utilisateur a demandé à AI d'être son entraîneur personnel. Compte tenu de son poids et de son âge, il calcula sa dépense énergétique, donna une explication, puis demanda combien de calories il devait perdre chaque jour pour perdre six kilos. Il a ensuite créé un plan de repas expliquant comment y parvenir en trois mois et comment le cuisiner.

d) En tant qu'ingénieur logiciel moi-même, j'ai moi-même essayé cela sur quelques problèmes de code pour le tester. Au départ, j'ai essayé quelques trucs frontaux simples, et les résultats ont été incroyables. Il m'a fourni les étapes et un exemple de code qui fonctionnait, mais au fur et à mesure que le problème est devenu, il a commencé à fournir de mauvaises sorties en toute confiance. J'ai essayé quelques questions de niveau moyen leetcode, et elles ont échoué lamentablement, ce qui signifie que c'est certainement une aide mais pas un remplacement pour les ingénieurs en logiciel.

e) ChatGPT peut se forger une opinion sur des sujets spécifiques à la demande d'un utilisateur, ce que je pense qu'aucun moteur de recherche ne peut faire. Mais ce n'est que le début; il y a plus que cela. Il a été rapporté que plusieurs personnes utilisent chatGPT pour tricher à leurs examens. Par conséquent, à mesure que les systèmes d'IA s'infiltrent dans la société, la pensée critique sera peut-être plus valorisée.

POURQUOI NOUS NE POUVONS-NOUS PAS TOUT AVOIR SUR NOS SMARTPHONES ?
La question ne demande donc qu'à être posée : pourquoi ne pouvons-nous pas tous avoir ce service sur nos smartphones en même temps ? Un employé d'ALPHABET, qui a assisté à la conférence interne de Google sur les grands modèles de langage, a révélé que ces systèmes nécessitent une énorme puissance de calcul, et qu'ils peuvent peut-être être gratuits pour quelques millions d'utilisateurs. Pourtant, il n'est tout simplement pas possible de l'adapter à la taille d'un milliard de requêtes par jour. Le service sera trop cher et la latence sera trop élevée. Actuellement, une recherche par IA représente dix à cent fois le coût d'une recherche Google normale. Selon Sam Altman, le PDG d'OpenAI, le coût d'une seule recherche est à un seul chiffre, et en supposant qu'il est de 5 cents par recherche, et que Google effectue 8,5 milliards de recherches par jour, cela signifierait une facture de 425 millions de dollars par jour. .

LIMITATIONS
ChatGPT, aussi intéressant soit-il, n'en est qu'à ses balbutiements. Il y a eu de nombreux cas où il a fourni des explications erronées et plutôt dangereuses aux questions. C'est le problème de tout modèle de langage ouvert ; il est difficile à maintenir en raison de son imprévisibilité.
Il y a eu des exemples comme l'IA créant ou compilant un site Web complet qui ressemblait au New York Times. L'IA écrirait les articles complets en utilisant des tweets comme invites. Un autre utilisateur a décidé de repousser les limites de sécurité et a demandé à l'IA comment faire un cocktail molotov, et il a été en mesure de fournir un processus étape par étape pour le faire. Ceci est évidemment une violation de la politique de contenu d'open ai. En dehors de cela, il y a eu des exemples d'échecs dans des questions factuelles, comme parfois des réponses cohérentes mais absurdes hallucinées; par exemple, un utilisateur a demandé ce qui est le plus lourd, un kilogramme de bœuf ou un kilogramme d'air comprimé. L'IA a déclaré que le bœuf pesait plus et a donné une explication confiante. C'est donc un exemple de la raison pour laquelle cette chose ne devrait pas être utilisée pour quelque chose d'important.

Cette erreur d'un kilogramme ne s'est pas produite pour moi personnellement, mais dans l'ensemble, cela signifie que c'est ainsi que fonctionnent ces modèles de langage : ils peuvent dire des choses étranges à des points aléatoires. ChatGPT semble trop verbeux lorsqu'il dit qu'il est incapable de faire quelque chose, et la même question est posée d'une autre manière ; il va juste de l'avant et le fait.

QU'EN EST -IL DES HUMAINS ?
Nous pouvons voir des artistes professionnels commencer à paniquer car l'art généré par l'IA est très difficile à distinguer de l'art professionnel. Cela pourrait réduire la valeur marchande de l'art en augmentant l'offre. Les prochains emplois de cols blancs pourraient être en danger car à mesure que l'IA s'améliore, il y a de fortes chances que moins de travailleurs soient nécessaires dans plusieurs domaines.
En ce qui concerne les prochaines nouvelles entreprises, elles peuvent utiliser ces grands modèles d'IA et les ajuster à leurs fins, comme la médecine, le droit, etc. Cela a été dit par Sam Altman, PDG d'OPEN AI systems, qu'il y aura quelques entreprises qui formera/contrôlera les grands modèles d'IA. La même IA qui comprend 98 % de tout ce qui est demandé a des connaissances générales et un raisonnement ; il peut comprendre le monde et ses événements. En plus de cette couche de base, les nouvelles startups utiliseront cette couche de base pour alimenter leurs industries spécifiques. Ils peuvent modifier la couche de base pour devenir le roi de leur domaine particulier.

Mais tout cela une fois dit, je ne pense pas que l'IA puisse battre les humains en tout. Il y a juste certaines choses pour lesquelles nous avons besoin des humains.

CONCLUSION
Donc, en conclusion, ChatGPT est limité, se trompe, et est irréalisable à grande échelle en ce moment, mais clairement, c'est un pic dans le futur. Il a montré des signes prometteurs et clairs pour l'émergence d'une industrie de plusieurs milliards de dollars. Si Microsoft, le plus grand bailleur de fonds du projet, trouve un moyen de faire évoluer le système et de l'intégrer dans le navigateur de recherche Bing, ce n'est peut-être pas un très bon signe pour Google. Encore une fois, cela dit, cela peut être considéré comme une percée majeure, et nous dépassons l'ère de l'information et entrons dans l'ère du savoir.

Merci d'avoir lu; J'espère que cela a été utile. Si vous souhaitez discuter davantage du sujet, connectez-vous via LinkedIn / Instagram .