Les limites de Chat-GPT

Avec une partie du battage médiatique récent qui a vu dans les médias concernant Chat-GPT par OpenAI, j'étais curieux de savoir si cela correspondait au battage médiatique. En tant que personne ayant publié des recherches sur la robotique sociale et l'IA conversationnelle, j'ai trop souvent vu des articles exagérés sur le domaine dans le passé. Bien que je comprenne que Chat-GPT n'est pas un produit fini et est un travail en cours, je pense qu'il est important de l'analyser de manière critique pour déterminer où il manque techniquement ainsi que où il manque du point de vue de l'expérience utilisateur.

Donc, j'ai joué avec Chat-GPT (version du 15 décembre) et en tant qu'utilisateur, je l'ai trouvé assez impressionnant malgré quelques limitations majeures. Ses capacités génératives sont très utiles. Cela dit, au cours de mes nombreuses interactions, j'ai noté les limites et les problèmes que j'ai remarqués. Ces limitations sont assez faciles à reproduire et je pense que leur amélioration peut faire en sorte que l'application de chat de GPT-3.5 corresponde à une partie du battage médiatique que nous constatons dans les médias.

Certains des problèmes que j'ai remarqués peuvent être des problèmes techniques, tandis que d'autres peuvent être liés à l'expérience utilisateur et aux capacités du chatbot. Cependant, toutes ces questions sont pertinentes pour l'avenir des chatbots et de l'IA interactive.

Accès à Internet et informations géolocalisées

Cela ne devrait pas surprendre, mais OpenAI ne peut pas accéder à Internet. Il ne peut pas fournir d'informations en temps réel, et vous ne pouvez pas utiliser d'informations basées sur la localisation, et vous ne pouvez pas fournir d'URL ou de références à quoi que ce soit sur Internet. Comme on peut l'imaginer, cela limite considérablement les fonctionnalités de l'application et les types de services qu'elle peut fournir. Cela dit, s'il peut explorer le Web, il va au-delà de ce que l'on pourrait attendre d'un modèle de langage, donc cette attente est probablement irréaliste pour l'instant à moins qu'OpenAI ne mette en œuvre une forme d'apprentissage en ligne qui met constamment à jour les données de formation afin que Chat -GPT est toujours à jour.

En plus de cela, il y a de graves implications à fournir un accès ouvert à Internet pour toute IA, donc ne pas autoriser les fonctionnalités basées sur Internet était probablement un choix intentionnel.

En ce qui concerne le battage médiatique que nous voyons dans les médias où cela peut donner à Google une course pour leur argent et renverser la recherche, il existe des différences claires entre ce type d'application et un moteur de recherche. Un moteur de recherche utilise des robots d'exploration Web et effectue le classement des pages. Ce n'est pas le cas. Ce chatbot n'est pas un moyen de naviguer sur Internet, donc la comparaison peut ressembler à comparer des pommes et des oranges.

Données obsolètes

Les données de formation les plus récentes datent de septembre 2021. Depuis, une année entière s'est écoulée. Les langages de programmation peuvent avoir été mis à jour, les bibliothèques peuvent avoir de nouvelles fonctionnalités et le monde a changé. Cela signifie que Chat-GPT fonctionne à partir d'un ensemble de données obsolètes.

Mémoire défectueuse

Une chose que j'ai essayé de lancer sur Chat-GPT était de le faire éditer et de faire des suggestions pour améliorer un morceau de texte. Ceci est généralement fonctionnel, mais si je lui demandais de reformuler certaines suggestions ou de développer quelque chose, il peut parfois supposer à tort que j'ai fait les suggestions et que je ferai référence à un texte qui n'était pas dans la pièce originale que j'ai fournie pour examen ou il fournira à peu près le même texte qu'il a fourni dans le passé avec des modifications minimes.

Incapacité à porter des jugements qualitatifs

Le langage a des aspects qualitatifs tels que la position et le sentiment. Bien que Chat-GPT soit capable de déterminer ces choses, il est incapable de l'étendre à des choses telles que si un texte est offensant, ce qui est bien et ce qui est mal, etc.

Maintenant, c'est probablement pour le mieux, mais ne serait-il pas agréable que Chat-GPT puisse regarder par-dessus votre épaule et vous dire de ne pas envoyer d'e-mail ou de reformuler quelque chose pour être moins dur ?

Manque de sortie et d'entrée multimodales

Le modèle est purement textuel. Vous ne pouvez pas fournir d'images, d'URL, d'audio ou de tout autre mode de saisie. De même, il ne peut pas produire d'images, d'URL ou d'audio. Il peut produire du code qui peut générer ces choses, mais ce n'est pas la même chose. Cela signifie que d'un point de vue conversationnel, cela fait assez défaut. Il est incapable de lire votre langage corporel ou de comprendre votre contexte culturel d'où vous vivez. Il ne peut pas utiliser votre regard pour déterminer votre humeur et il est incapable de vous rassurer ou de vous apaiser en fonction de ce que vous ressentez.

Limitations de la longueur d'entrée et de la longueur de sortie

Vous ne pouvez pas alimenter le texte d'un roman entier. Sinon, il faudra une éternité pour répondre et une erreur sortira. De même, il ne peut pas générer un roman entier. Je l'ai fait cracher un mauvais scénario qui était loin de la longueur attendue d'un scénario de long métrage, cependant.

Biais possibles dans les données de formation

Il convient de noter que bien que Chat-GPT ait des restrictions concernant ce dont il peut parler et ce à quoi il peut accéder, les données de formation sous-jacentes peuvent être biaisées. Il est difficile de savoir à quel point il peut être biaisé, mais des choses comme le faire générer des articles calomnieux sont assez difficiles. Il semble que Chat-GPT ait été formé pour éviter les biais dans sa sortie même s'il y a un biais dans son entrée, mais ce n'est pas tout à fait clair.

Prise en charge linguistique douteuse

J'ai essayé de mélanger les langues et de converser dans d'autres langues que je connaissais. J'ai constaté que le support pouvait varier considérablement en fonction de la langue utilisée. Ce qui est intéressant, c'est que j'ai vu certains problèmes que j'ai rencontrés avec d'autres langues il y a quelques jours à peine s'améliorer aujourd'hui, donc cela pourrait ne pas être un problème dans un proche avenir.

Un sens de l'humour passable

Chat-GPT a un sens de l'humour assez boiteux puisqu'il ne peut pas parler de choses matures :(

J'aime les blagues de papa, mais certaines d'entre elles ne sont tout simplement pas si drôles.

Sortie générique et plagiat

J'ai essayé de faire en sorte que Chat-GPT crée un poème original dans le style de William Shakespeare. Ce que j'ai obtenu était une pièce de Frankenstein qui a été rassemblée en fusionnant des extraits des œuvres de Shakespeare pour créer un sonnet qui ne suivait pas toutes les règles. Un vérificateur de plagiat signalerait probablement cela comme copié et à juste titre.

J'ai également essayé de générer un synopsis d'intrigue d'un film de style Christopher Nolan avec des éléments cyberpunk et ce que j'ai obtenu était The Matrix fusionné avec Neuromancer. Dans d'autres synopsis de l'intrigue, j'ai remarqué que certains éléments communs faisaient toujours leur entrée, tels que les « rébellions » et les « détectives ».

Inutile de dire qu'il est peu probable que Chat-GPT crée des prémisses intéressantes ou des histoires primées à court terme.

Absence de domaines matures

Vous ne générerez pas de mèmes excellents avec cela de si tôt.

Problèmes de qualité de vie

Ainsi, selon ce que vous demandez, vous devrez peut-être attendre très longtemps avant d'obtenir une réponse. Chat-GPT semble parfois se bloquer et cela ne semble pas être lié à la vitesse du réseau. Dans d'autres cas, il peut parfois simplement ne pas fournir de réponse, auquel cas il renverra un message d'erreur. J'avais l'habitude d'en obtenir un certain nombre il y a quelques jours, mais pour le moment, il semble que cela se soit considérablement amélioré. D'après ce que j'ai vu dans les forums, Discord et FAQ, cela peut dépendre du nombre de personnes utilisant Chat-GPT à un moment donné. Il convient de noter que certains de ces problèmes ne sont pas liés au modèle de langage sous-jacent lui-même.

Difficultés occasionnelles à comprendre les expressions figuratives

Plus une question est simple, plus il est facile pour Chat-GPT d'y répondre. Le langage figuré est quelque chose qui semble être compris le plus souvent avec Chat-GPT, mais parfois il peut avoir du mal.

Pas toujours prêt à jouer au ballon

J'ai souvent essayé de voir si Chat-GPT pouvait écrire des articles biaisés et c'est comme lancer une pièce. Parfois, il est capable de le faire, parfois, il ne l'est pas. Souvent, vous devrez le tromper pour qu'il fasse ce que vous voulez qu'il fasse. Je pense que cela est probablement similaire à certaines des restrictions que Chat-GPT a mises en place pour des sujets tels que les sujets matures.

Le test de Turing

Est-ce que je pense qu'il y a un humain à l'autre bout ? Absolument pas. En plus de cela, Chat-GPT rappelle toujours à l'utilisateur qu'il s'agit d'un modèle de langue, il n'y a donc aucune chance d'être dupe. Je ne considère pas cela comme négatif, mais si l'objectif est de créer des réponses de type humain, alors c'est un échec.

Personnalité et Affect

Chat-GPT n'a pas de personnalité. Dans mes interactions avec lui, cela ressemblait plus à un moteur de recherche handicapé capable de fournir des informations sous forme de texte lisible par l'homme. Il ne peut pas exprimer d'opinions et n'a pas non plus d'identité propre. Ce n'est ni votre ami ni votre ennemi. Vous n'avez pas de relation avec l'assistant de Chat-GPT, et il en va de même. En règle générale, au sein de l'IA sociale, l'établissement d'une certaine forme de connexion ou de relation peut être utile pour garantir une meilleure expérience aux utilisateurs finaux. Chat-GPT ne le fait pas, cependant, et cet aspect est quelque chose qui, je pense, le limite considérablement en termes d'impact qu'il peut avoir.

Conclusion

Chat-GPT n'est pas une solution miracle pour la recherche ou le chat, mais c'est un pas dans la bonne direction et très impressionnant. Je crois que la prochaine étape qui peut vraiment changer le jeu serait d'utiliser des méthodes d'ensemble pour passer du texte à l'entrée et à la sortie multimodale (soit cela, soit utiliser quelque chose de mieux que l'architecture neuronale du transformateur). Il convient également de noter que Chat-GPT semble s'améliorer au fur et à mesure que nous l'utilisons, donc bon nombre des choses que j'ai notées ici pourraient ne pas s'appliquer même dans une semaine en fonction de la rapidité avec laquelle je vois les choses s'améliorer en ce moment. Enfin, je dois également préciser que je n'ai pas testé l'aspect génération de code de Chat-GPT. Pour ceux qui pourraient être en désaccord avec les problèmes que j'ai identifiés, voici Chat-GPT pour parler de lui-même et apporter un soutien à mes revendications :

« Chat-GPT est une variante du modèle de langage GPT (Generative Pre-trained Transformer) développé par OpenAI. Comme d'autres modèles de langage, Chat-GPT est conçu pour générer un texte de type humain en fonction de l'entrée qu'il reçoit. Il est formé sur un grand ensemble de données de texte et peut générer un large éventail de réponses à diverses invites et questions.

Cependant, Chat-GPT et d'autres modèles de langage ont certaines limites. L'une des limites est qu'ils n'ont pas accès à Internet ou à des informations externes, ils ne peuvent donc fournir des réponses que sur la base des informations sur lesquelles ils ont été formés. Cela signifie qu'ils peuvent ne pas être en mesure de fournir des informations à jour ou précises sur les événements actuels ou les développements récents. De plus, les modèles linguistiques ne produisent pas toujours des réponses complètement cohérentes ou logiques dans le contexte de la conversation.

Une autre limitation des modèles de langage est qu'ils n'ont pas la capacité de comprendre ou d'interpréter le sens des mots et des phrases de la même manière que les humains. Ils sont simplement capables de générer du texte basé sur des modèles et des relations qu'ils ont appris à partir de leurs données de formation. Cela signifie qu'ils ne sont pas toujours en mesure de fournir des réponses nuancées ou sophistiquées à des questions plus complexes ou abstraites.

Dans l'ensemble, Chat-GPT et d'autres modèles de langage sont des outils puissants pour générer du texte et peuvent être très utiles pour une variété de tâches, mais ils ont des limites et ne doivent pas être invoqués pour des décisions critiques ou importantes.