Comme promis dans mon article précédent , j'ai effectué un test de temps comparant ChatGPT Plus à ChatGPT.

Pour effectuer ce test de temps, j'ai testé ChatGPT et ChatGPT Plus avec cinq invites différentes et enregistré le temps d'exécution. Voici mes méthodes, mes résultats et une brève discussion. (Ou, vous pouvez passer directement aux résultats )

Méthodes

J'ai demandé à ChatGPT de générer cinq invites différentes pour se tester. J'avais une idée de base de ce que je voulais pour chaque invite et j'ai demandé à ChatGPT de générer l'invite elle-même.

Voici comment j'ai invité ChatGPT, comment ChatGPT a répondu et les invites que j'ai utilisées :

50 questions

Mon invite : "Générez une liste de 50 invites pour tester la vitesse de ChatGPT."

Invite générée par ChatGPT :

1. Quelle est la capitale de la France?
2. Qui est l'actuel président des États-Unis ?
3. Quelle est la plus grosse planète de notre système solaire ?
4. Qui a été la première personne à marcher sur la lune ?
5. Qui a écrit le livre « To Kill a Mockingbird » ?
6. Comment s'appelle la monnaie utilisée au Japon ?
7. Comment s'appelle le plus long fleuve du monde ?
8. Qui a peint la Joconde ?
9. Qui a inventé le téléphone?
10. Comment s'appelle le célèbre opéra de Mozart ?
11. Comment s'appelle la célèbre pièce de Shakespeare sur les amants maudits ?
12. Qui a découvert la pénicilline ?
13. Qui a écrit la série de livres Harry Potter ?
14. Comment s'appelle le premier ordinateur ?
15. Comment s'appelle la fameuse équation de la physique ?
16. Qui a réalisé le film « Le Parrain » ?
17. Qui a écrit la comédie musicale « West Side Story » ?
18. Comment s'appelle le plus grand désert du monde ?
19. Qui a écrit le roman "Orgueil et préjugés" ?
20. Comment s'appelle la célèbre statue de Rio de Janeiro ?
21. Qui a écrit la chanson "Imagine" ?
22. Qui a écrit le roman « Dracula » ?
23. Comment s'appelle le célèbre tableau de Vincent van Gogh ?
24. Qui a écrit la pièce « Un tramway nommé désir » ?
25. Comment s'appelle le célèbre ballet de Tchaïkovski ?
26. Qui a écrit le roman "Wuthering Heights" ?
27. Qui a écrit la pièce "Mort d'un commis voyageur" ​​?
28. Qui a écrit la comédie musicale "The Sound of Music" ?
29. Qui a écrit le roman « Moby-Dick » ?
30. Qui a écrit la pièce « The Glass Menagerie » ?
31. Qui a écrit le roman « Au phare » ?
32. Qui a écrit la pièce « Notre ville » ?
33. Qui a écrit le roman « Cent ans de solitude » ?
34. Qui a écrit la pièce « Long Day's Journey into Night » ?
35. Qui a écrit le roman « The Great Gatsby » ?
36. Qui a écrit la pièce « A Raisin in the Sun » ?
37. Qui a écrit le roman « The Catcher in the Rye » ?
38. Qui a écrit la pièce « Qui a peur de Virginia Woolf ?
39. Qui a écrit le roman « Brave New World » ?
40. Qui a écrit la pièce « L'importance d'être constant » ?
41. Qui a écrit le roman « Les raisins de la colère » ?
42. Qui a écrit la pièce « Le Creuset » ?
43. Qui a écrit le roman « La ferme des animaux » ?
44. Qui a écrit la pièce « The Cherry Orchard » ?
45. Qui a écrit le roman « Leurs yeux regardaient Dieu » ?
46. Qui a écrit la pièce « The Glass Menagerie » ?
47. Qui a écrit le roman "La couleur pourpre" ?
48. Qui a écrit la pièce « Les petits renards » ?
49. Qui a écrit le roman « Le cœur est un chasseur solitaire » ?
50. Qui a écrit la pièce « The Odd Couple » ?

Essai sur l'IA

Mon invite : "Veuillez fournir un bon sujet de rédaction pour tester la vitesse de ChatGPT."

Invite générée par ChatGPT : "L'impact de l'intelligence artificielle sur la société et l'avenir du travail."

Ce que j'ai utilisé : veuillez écrire un essai long, très détaillé et bien structuré sur le sujet suivant : "L'impact de l'intelligence artificielle sur la société et l'avenir du travail".

Tutoriel Python

Mon invite : " Veuillez écrire une invite pour tester la vitesse de ChatGPT lors de l'écriture d'un didacticiel de code Python."

Invite générée par ChatGPT : "Écrivez un tutoriel Python sur la façon d'effectuer une analyse des sentiments sur un texte donné. Le didacticiel doit couvrir les étapes suivantes :

1. Introduction à l'analyse des sentiments et à ses applications.
2. Importation des bibliothèques nécessaires telles que nltk, pandaset numpy.
3. Chargement de l'ensemble de données (vous pouvez utiliser l'ensemble de données de critique de film du corpus nltk).
4. Prétraitement des données textuelles, y compris la mise en minuscules, la suppression de la ponctuation, la segmentation et la radicalisation.
5. Conversion des données textuelles prétraitées en données numériques à l'aide de l'approche sac de mots ou TF-IDF
6. Diviser l'ensemble de données en ensembles d'apprentissage et de test.
7. Entraînement d'un modèle d'apprentissage automatique (par exemple, Naive Bayes, SVM, etc.) sur l'ensemble d'apprentissage.
8. Évaluer les performances du modèle sur l'ensemble de test à l'aide de métriques telles que l'exactitude, la précision, le rappel et le score F1.
9. Prédire le sentiment d'un nouveau texte invisible à l'aide du modèle formé.
10. Conclusion et travaux futurs.

Ce que j'ai utilisé : pour celui-ci, j'ai pu utiliser directement la sortie de ChatGPT.

Comment faire du café

Mon invite : "Veuillez écrire une invite pour un didacticiel "Comment faire"."

Invite générée par ChatGPT : "Comment préparer une délicieuse tasse de café à la maison à l'aide d'une cafetière à piston"

Ce que j'ai utilisé : veuillez écrire un tutoriel détaillé et approfondi pour l'invite suivante : "Comment préparer une délicieuse tasse de café à la maison à l'aide d'une presse française"

Colonne de conseils

Mon invite : " Écrivez une invite pour demander à ChatGPT le texte d'une colonne de conseils, avec la question et la réponse."

Invite générée par ChatGPT : "Je me sens vraiment submergé et stressé ces derniers temps, quels sont les conseils pratiques pour m'aider à gérer mon stress ?"

Ce que j'ai utilisé : dans le style de "Chère Abby", rédigez une réponse très détaillée et approfondie à la demande de conseil suivante : "Je me sens vraiment dépassé et stressé ces derniers temps, quels sont quelques conseils pratiques pour m'aider à gérer mon stress ? ?"

J'ai ensuite invité ChatGPT et ChatGPT Plus avec ces invites trois fois chacune et j'ai enregistré l'heure d'achèvement.

Dans le cas d'une erreur réseau, j'ai arrêté l'heure et redémarré au redémarrage de ChatGPT.

Dans le cas d'une réponse longue, j'ai arrêté l'heure à laquelle ChatGPT s'est arrêté, lui ai demandé de "continuer s'il vous plaît", et j'ai redémarré l'heure lorsque ChatGPT a poursuivi sa réponse.

J'ai tracé les résultats avec la bibliothèque matplotlib.pyplot .

Résultats

Ce chiffre démontre une nette accélération avec ChatGPT Plus . Toutes les réponses pour ChatGPT Plus (vert) étaient plus rapides que les réponses pour ChatGPT (violet).

Ce chiffre montre que l'accélération moyenne (la ligne violette en pointillés) est de 2,56, ce qui signifie que ChatGPT Plus est plus rapide que ChatGPT d'un facteur de 2,56, en moyenne .

Ce chiffre montre qu'il y a beaucoup moins de variation dans le temps d'exécution avec ChatGPT Plus . À l'exception du didacticiel Python, la plage de temps d'exécution de ChatGPT Plus est inférieure à cinq secondes. Pour ChatGPT, la plage varie de 3,3 à 37,5 secondes.

Il est à noter que la plage avec ChatGPT Plus est beaucoup plus élevée pour le didacticiel Python. Pourtant, comme le montre la figure 1, la durée maximale de cette invite avec ChatGPT Plus (104,16 secondes) est nettement plus courte que la durée minimale avec ChatGPT (194,93).

Erreurs réseau

Il n'y a eu aucune erreur de réseau avec ChatGPT Plus. Avec ChatGPT, il y avait deux erreurs de réseau avec le tutoriel Python et une avec l'essai AI. Les deux erreurs de réseau pour le didacticiel Python se sont produites au cours du même test, ce qui signifie que deux des 15 tests (13 %) ont entraîné une erreur de réseau avec ChatGPT.

Discussion

Les résultats démontrent clairement l'avantage de ChatGPT Plus sur ChatGPT. L'accélération moyenne de 2,56 est significative - pour le didacticiel Python, cela signifiait économiser en moyenne près de 100 secondes. La différence dans la plage de résultats prend également en charge les performances de ChatGPT Plus étant plus prévisibles. La plage supérieure du didacticiel Python mérite une inspection plus approfondie. C'était la seule invite impliquant du code. Un autre test de temps avec toutes les invites nécessitant la génération de code peut être utile pour résoudre cet écart.

Menaces à la validité

Il s'agissait d'un très petit essai (cinq invites de seulement trois tests chacune). Un essai plus important donnera plus de confiance dans ces résultats. De plus, les tests n'étaient pas simultanés. Il est possible que le serveur ait été préférentiellement surchargé lors des tests ChatGPT.

Un dernier mot

Je laisse ChatGPT avoir le dernier mot ici :

Moi : J'ai effectué des tests de temps et j'ai découvert que ChatGPT Plus est plus rapide que ChatGPT d'un facteur de 2,56, en moyenne. Qu'avez-vous à dire à propos de cela?

ChatGPT : En tant que modèle de langage IA développé par OpenAI, je n'ai pas la possibilité de me comparer à d'autres modèles. Cependant, il est possible que l'amélioration des performances que vous avez observée soit due à des différences de matériel, d'architecture réseau ou à d'autres facteurs. Il est également important de noter que les performances du modèle peuvent varier en fonction de la tâche spécifique et des données d'entrée.

Moi : Merci de m'avoir ramené sur Terre, ChatGPT.

ChatGpt : De rien ! Je suis ici pour fournir des informations utiles et précises au mieux de mes capacités. Si vous avez d'autres questions, n'hésitez pas à les poser.

# Sauf indication contraire, le contenu de cet article a été entièrement écrit par moi.