Wie in meinem vorherigen Artikel versprochen , habe ich einen Zeittest durchgeführt, bei dem ChatGPT Plus mit ChatGPT verglichen wurde.

Um diesen Zeittest durchzuführen, habe ich ChatGPT und ChatGPT Plus mit fünf verschiedenen Eingabeaufforderungen getestet und die Abschlusszeit aufgezeichnet. Hier sind meine Methoden, Ergebnisse und eine kurze Diskussion. (Oder Sie können direkt zu den Ergebnissen springen )

Methoden

Ich habe ChatGPT gebeten, fünf verschiedene Eingabeaufforderungen zu generieren, um sich selbst zu testen. Ich hatte eine grundlegende Vorstellung davon, was ich für jede Eingabeaufforderung wollte, und bat ChatGPT, die Eingabeaufforderung selbst zu generieren.

Hier erfahren Sie, wie ich ChatGPT aufgefordert habe, wie ChatGPT reagiert hat und welche Eingabeaufforderungen ich verwendet habe:

50 Fragen

Meine Aufforderung : „Erstellen Sie eine Liste mit 50 Aufforderungen, um die Geschwindigkeit von ChatGPT zu testen.“

Von ChatGPT generierte Eingabeaufforderung :

1. Was ist die Hauptstadt von Frankreich?
2. Wer ist der derzeitige Präsident der Vereinigten Staaten?
3. Was ist der größte Planet in unserem Sonnensystem?
4. Wer war der erste Mensch, der den Mond betrat?
5. Wer hat das Buch „To Kill a Mockingbird“ geschrieben?
6. Wie heißt die in Japan verwendete Währung?
7. Wie heißt der längste Fluss der Welt?
8. Wer hat die Mona Lisa gemalt?
9. Wer hat das Telefon erfunden?
10. Wie heißt die berühmte Oper von Mozart?
11. Wie heißt das berühmte Shakespeare-Stück über ein unglückliches Liebespaar?
12. Wer hat Penicillin entdeckt?
13. Wer hat die Harry-Potter-Buchreihe geschrieben?
14. Wie heißt der erste Computer?
15. Wie heißt die berühmte Gleichung der Physik?
16. Wer hat den Film „Der Pate“ gedreht?
17. Wer hat das Musical „West Side Story“ geschrieben?
18. Wie heißt die größte Wüste der Welt?
19. Wer hat den Roman „Stolz und Vorurteil“ geschrieben?
20. Wie heißt die berühmte Statue in Rio de Janeiro?
21. Wer hat das Lied „Imagine“ geschrieben?
22. Wer hat den Roman „Dracula“ geschrieben?
23. Wie heißt das berühmte Gemälde von Vincent van Gogh?
24. Wer hat das Stück „A Streetcar Named Desire“ geschrieben?
25. Wie heißt das berühmte Ballett von Tschaikowsky?
26. Wer hat den Roman „Wuthering Heights“ geschrieben?
27. Wer hat das Stück „Tod eines Handlungsreisenden“ geschrieben?
28. Wer hat das Musical „The Sound of Music“ geschrieben?
29. Wer hat den Roman „Moby-Dick“ geschrieben?
30. Wer hat das Stück „Die gläserne Menagerie“ geschrieben?
31. Wer hat den Roman „Zum Leuchtturm“ geschrieben?
32. Wer hat das Stück „Unsere Stadt“ geschrieben?
33. Wer hat den Roman „Hundert Jahre Einsamkeit“ geschrieben?
34. Wer hat das Stück „Die Reise eines langen Tages in die Nacht“ geschrieben?
35. Wer hat den Roman „Der große Gatsby“ geschrieben?
36. Wer hat das Stück „A Raisin in the Sun“ geschrieben?
37. Wer hat den Roman „Der Fänger im Roggen“ geschrieben?
38. Wer hat das Stück „Wer hat Angst vor Virginia Woolf“ geschrieben?
39. Wer hat den Roman „Brave New World“ geschrieben?
40. Wer hat das Stück „The Importance of Being Earnest“ geschrieben?
41. Wer hat den Roman „Die Früchte des Zorns“ geschrieben?
42. Wer hat das Stück „The Crucible“ geschrieben?
43. Wer hat den Roman „Farm der Tiere“ geschrieben?
44. Wer hat das Stück „The Cherry Orchard“ geschrieben?
45. Wer hat den Roman „Ihre Augen beobachteten Gott“ geschrieben?
46. Wer hat das Stück „Die gläserne Menagerie“ geschrieben?
47. Wer hat den Roman „Die Farbe Lila“ geschrieben?
48. Wer hat das Stück „Die kleinen Füchse“ geschrieben?
49. Wer hat den Roman „Das Herz ist ein einsamer Jäger“ geschrieben?
50. Wer hat das Stück „The Odd Couple“ geschrieben?

KI-Aufsatz

Meine Aufforderung: „Bitte geben Sie ein gutes Aufsatzthema an, um die Geschwindigkeit von ChatGPT zu testen.“

Von ChatGPT generierte Eingabeaufforderung : „Die Auswirkungen künstlicher Intelligenz auf die Gesellschaft und die Zukunft der Arbeit.“

Was ich verwendet habe: Bitte schreiben Sie einen langen, sehr detaillierten und gut strukturierten Aufsatz zum folgenden Thema: „Die Auswirkungen künstlicher Intelligenz auf die Gesellschaft und die Zukunft der Arbeit.“

Python-Tutorial

Meine Aufforderung: „ Bitte schreiben Sie eine Aufforderung, um die Geschwindigkeit von ChatGPT beim Schreiben eines Python-Code-Tutorials zu testen.“

Von ChatGPT generierte Eingabeaufforderung : „Schreiben Sie ein Python-Tutorial zur Durchführung einer Stimmungsanalyse für einen bestimmten Text. Das Tutorial sollte die folgenden Schritte abdecken:

1. Einführung in die Stimmungsanalyse und ihre Anwendungen.
2. Importieren notwendiger Bibliotheken wie nltk, pandasund numpy.
3. Laden des Datensatzes (Sie können den Filmrezensionsdatensatz aus dem NLTK-Korpus verwenden).
4. Vorverarbeitung der Textdaten, einschließlich Kleinschreibung, Entfernen von Satzzeichen, Tokenisierung und Wortstammerkennung.
5. Konvertieren der vorverarbeiteten Textdaten in numerische Daten mithilfe des Bag-of-Words-Ansatzes oder TF-IDF
6. Aufteilen des Datensatzes in Trainings- und Testsätze.
7. Trainieren eines maschinellen Lernmodells (z. B. Naive Bayes, SVM usw.) auf dem Trainingssatz.
8. Bewerten der Leistung des Modells im Testsatz anhand von Metriken wie Genauigkeit, Präzision, Rückruf und F1-Score.
9. Vorhersage der Stimmung eines neuen, unsichtbaren Textes mithilfe des trainierten Modells.
10. Schlussfolgerung und zukünftige Arbeit.

Was ich verwendet habe: Hier konnte ich direkt die Ausgabe von ChatGPT verwenden.

Kaffee Anleitung

Meine Aufforderung: „Bitte schreiben Sie eine Aufforderung für ein „How To“-Tutorial.“

Von ChatGPT generierte Eingabeaufforderung : „Wie man zu Hause mit einer French Press eine köstliche Tasse Kaffee zubereitet“

Was ich verwendet habe : Bitte schreiben Sie eine ausführliche, ausführliche Anleitung für die folgende Eingabeaufforderung: „Wie man zu Hause eine köstliche Tasse Kaffee mit einer French Press zubereitet“

Beratungskolumne

Meine Aufforderung: „ Schreiben Sie eine Aufforderung, um ChatGPT nach dem Text einer Ratgeberkolumne mit der Frage und der Antwort zu fragen.“

Von ChatGPT generierte Eingabeaufforderung : „Ich fühle mich in letzter Zeit wirklich überfordert und gestresst. Welche praktischen Tipps können mir helfen, mit meinem Stress umzugehen?“

Was ich verwendet habe : Schreiben Sie im Stil von „Liebe Abby“ eine sehr detaillierte und ausführliche Antwort auf die folgende Bitte um Rat: „Ich fühle mich in letzter Zeit wirklich überfordert und gestresst. Welche praktischen Tipps können mir helfen, mit meinem Stress umzugehen?“ ?“

Anschließend habe ich ChatGPT und ChatGPT Plus jeweils dreimal mit diesen Eingabeaufforderungen aufgefordert und die Fertigstellungszeit aufgezeichnet.

Im Falle eines Netzwerkfehlers habe ich die Zeit gestoppt und beim Neustart von ChatGPT neu gestartet.

Im Falle einer langen Antwort habe ich die Zeit gestoppt, als ChatGPT anhielt, es aufgefordert, „Bitte fortfahren“ und die Zeit erneut gestartet, als ChatGPT seine Antwort fortsetzte.

Ich habe die Ergebnisse mit der Bibliothek matplotlib.pyplot aufgezeichnet .

Ergebnisse

Diese Zahl zeigt eine deutliche Beschleunigung mit ChatGPT Plus . Alle Antworten für ChatGPT Plus (grün) waren schneller als die Antworten für ChatGPT (lila).

Diese Abbildung zeigt, dass die durchschnittliche Geschwindigkeitssteigerung (die gestrichelte violette Linie) 2,56 beträgt, was bedeutet, dass ChatGPT Plus im Durchschnitt um den Faktor 2,56 schneller ist als ChatGPT .

Diese Abbildung zeigt, dass es bei ChatGPT Plus viel weniger Schwankungen in der Abschlusszeit gibt . Mit Ausnahme des Python-Tutorials beträgt die Zeitspanne für die Fertigstellung von ChatGPT Plus weniger als fünf Sekunden. Für ChatGPT liegt der Bereich zwischen 3,3 und 37,5 Sekunden.

Auffällig ist, dass die Reichweite mit ChatGPT Plus beim Python Tutorial deutlich höher ist. Wie in Abbildung 1 zu sehen ist, ist die maximale Zeit für diese Eingabeaufforderung mit ChatGPT Plus (104,16 Sekunden) jedoch deutlich kürzer als die minimale Zeit mit ChatGPT (194,93).

Netzwerkfehler

Bei ChatGPT Plus gab es keine Netzwerkfehler. Bei ChatGPT gab es zwei Netzwerkfehler beim Python-Tutorial und einen beim KI-Aufsatz. Beide Netzwerkfehler für das Python-Tutorial traten während desselben Tests auf, was bedeutet, dass zwei der 15 Tests (13 %) zu einem Netzwerkfehler mit ChatGPT führten.

Diskussion

Die Ergebnisse zeigen deutlich den Vorteil von ChatGPT Plus gegenüber ChatGPT. Die durchschnittliche Geschwindigkeitssteigerung von 2,56 ist erheblich – für das Python-Tutorial bedeutete dies eine durchschnittliche Einsparung von fast 100 Sekunden. Der Unterschied in der Ergebnisspanne trägt auch dazu bei, dass die Leistung von ChatGPT Plus vorhersehbarer ist. Der höhere Bereich für das Python-Tutorial ist eine weitere Betrachtung wert. Dies war die einzige Eingabeaufforderung, die Code beinhaltete. Ein weiterer Zeittest mit allen Eingabeaufforderungen, die eine Codegenerierung erfordern, kann hilfreich sein, um diese Diskrepanz zu beheben.

Bedrohungen der Gültigkeit

Dies war ein sehr kleiner Versuch (fünf Eingabeaufforderungen mit jeweils nur drei Tests). Eine größere Studie wird mehr Vertrauen in diese Ergebnisse schaffen. Außerdem fanden die Tests nicht gleichzeitig statt. Möglicherweise wurde der Server während der ChatGPT-Tests bevorzugt überlastet.

Ein letztes Wort

Ich überlasse ChatGPT hier das letzte Wort:

Ich : Ich habe einige Zeittests durchgeführt und festgestellt, dass ChatGPT Plus im Durchschnitt um den Faktor 2,56 schneller ist als ChatGPT. Was sagen Sie dazu?

ChatGPT : Als von OpenAI entwickeltes KI-Sprachmodell habe ich nicht die Möglichkeit, mich mit anderen Modellen zu vergleichen. Es ist jedoch möglich, dass die von Ihnen beobachtete verbesserte Leistung auf Unterschiede in der Hardware, der Netzwerkarchitektur oder anderen Faktoren zurückzuführen ist. Es ist außerdem wichtig zu beachten, dass die Modellleistung je nach spezifischer Aufgabe und Eingabedaten variieren kann.

Ich : Danke, dass du mich zurück auf den Boden der Tatsachen gebracht hast, ChatGPT.

ChatGpt : Gern geschehen! Ich bin hier, um im Rahmen meiner Möglichkeiten hilfreiche und genaue Informationen bereitzustellen. Wenn Sie weitere Fragen haben, können Sie diese gerne stellen.

# Sofern nicht ausdrücklich als solcher gekennzeichnet, wurde der Inhalt dieses Artikels vollständig von mir verfasst.