Die Einschränkungen von Chat-GPT

Angesichts des jüngsten Hypes in den Medien um Chat-GPT von OpenAI war ich neugierig, ob es zum Hype passt. Als jemand, der Forschungsergebnisse zu sozialer Robotik und Konversations-KI veröffentlicht hat, habe ich in der Vergangenheit allzu oft übertriebene Artikel über dieses Gebiet gesehen. Ich verstehe zwar, dass Chat-GPT kein fertiges Produkt ist und sich noch in der Entwicklung befindet, aber ich halte es für wichtig, es kritisch zu analysieren, um festzustellen, wo es technische Mängel gibt und wo es hinsichtlich der Benutzererfahrung mangelt.

Ich habe also mit Chat-GPT (Version vom 15. Dezember) herumgespielt und als Benutzer fand ich es trotz einiger erheblicher Einschränkungen ziemlich beeindruckend. Seine generativen Fähigkeiten sind sehr nützlich. Vor diesem Hintergrund habe ich im Laufe mehrerer Gespräche die Einschränkungen und Probleme notiert, die mir aufgefallen sind. Diese Einschränkungen lassen sich relativ einfach reproduzieren, und ich glaube, dass eine Verbesserung dazu führen kann, dass die Chat-Anwendung von GPT-3.5 dem Hype gerecht wird, den wir in den Medien sehen.

Einige der Probleme, die mir aufgefallen sind, könnten technische Probleme sein, während andere möglicherweise Probleme mit der Benutzererfahrung und den Fähigkeiten des Chatbots haben. All diese Themen sind jedoch für die Zukunft von Chatbots und interaktiver KI relevant.

Zugriff auf das Internet und standortbezogene Informationen

Das sollte nicht überraschen, aber OpenAI kann nicht auf das Internet zugreifen. Es können keine Echtzeitinformationen bereitgestellt werden, Sie können keine standortbezogenen Informationen verwenden und Sie können keine URLs oder Verweise auf irgendetwas im Internet bereitstellen. Wie man sich vorstellen kann, schränkt dies die Funktionalität der Anwendung und die Arten von Diensten, die sie bereitstellen kann, erheblich ein. Wenn es jedoch das Web crawlen kann, geht es über das hinaus, was man von einem Sprachmodell erwarten könnte. Daher ist diese Erwartung vorerst wahrscheinlich unrealistisch, es sei denn, OpenAI implementiert eine Form des Online-Lernens, das die Trainingsdaten konsistent aktualisiert, sodass Chat -GPT ist immer auf dem neuesten Stand.

Darüber hinaus hat die Bereitstellung eines offenen Zugangs zum Internet für jede KI schwerwiegende Auswirkungen, sodass die Nichtzulassung internetbasierter Funktionen wahrscheinlich eine bewusste Entscheidung war.

Im Hinblick auf den Hype, den wir in den Medien sehen, wo dies Google um sein Geld bringen und die Suche auf den Kopf stellen kann, gibt es deutliche Unterschiede zwischen dieser Art von Anwendung und einer Suchmaschine. Eine Suchmaschine verwendet Webcrawler und führt ein Seitenranking durch. Das tut nicht. Dieser Chatbot ist keine Möglichkeit, im Internet zu navigieren, daher kann der Vergleich sehr dem Vergleich von Äpfeln und Birnen ähneln.

Veraltete Daten

Die aktuellsten Trainingsdaten stammen vom September 2021. Seitdem ist ein ganzes Jahr vergangen. Möglicherweise wurden Programmiersprachen aktualisiert, Bibliotheken verfügen möglicherweise über neue Funktionen und die Welt hat sich verändert. Das bedeutet, dass Chat-GPT mit einem veralteten Datensatz arbeitet.

Fehlerhafter Speicher

Eine Sache, die ich bei Chat-GPT versucht habe, war, es zu bearbeiten und Vorschläge zur Verbesserung eines Textabschnitts zu machen. Dies ist normalerweise funktionsfähig, aber wenn ich darum bitte, einige Vorschläge umzuformulieren oder etwas näher zu erläutern, kann es manchmal fälschlicherweise annehmen, dass ich die Vorschläge gemacht habe, und auf Text verweisen, der nicht im Originalstück enthalten ist, das ich zur Überprüfung bereitgestellt habe Oder es wird mit minimalen Änderungen nahezu derselbe Text angezeigt wie in der Vergangenheit.

Unfähigkeit, qualitative Urteile zu fällen

Sprache hat qualitative Aspekte wie Haltung und Gefühl. Während Chat-GPT diese Dinge bestimmen kann, ist es nicht in der Lage, dies auf Dinge wie die Frage auszudehnen, ob ein Text anstößig ist, was gut und was böse ist usw.

Nun, das ist wahrscheinlich das Beste, aber wäre es nicht schön, wenn Chat-GPT Ihnen über die Schulter schauen und Ihnen sagen könnte, dass Sie keine E-Mail senden oder etwas weniger hart umformulieren könnten?

Mangel an multimodalem Output und Input

Das Modell ist rein textuell. Sie können keine Bilder, URLs, Audio oder andere Eingabemodi bereitstellen. Ebenso können keine Bilder, URLs oder Audio ausgegeben werden. Es kann Code ausgeben, der diese Dinge generieren kann, aber das ist nicht dasselbe. Das bedeutet, dass es aus gesprächstechnischer Sicht ziemlich mangelhaft ist. Es ist nicht in der Lage, Ihre Körpersprache zu lesen oder Ihren kulturellen Hintergrund an Ihrem Wohnort zu verstehen. Es kann Ihren Blick nicht nutzen, um Ihre Stimmung zu bestimmen, und es ist nicht in der Lage, Sie basierend auf Ihren Gefühlen zu beruhigen oder zu beruhigen.

Einschränkungen bei der Eingabe- und Ausgabelänge

Sie können nicht den Text eines ganzen Romans einspeisen. Andernfalls dauert die Antwort ewig und es kommt zu einer Fehlermeldung. Ebenso kann daraus kein ganzer Roman entstehen. Allerdings habe ich es geschafft, ein schlechtes Drehbuch auszuspucken, das bei weitem nicht der erwarteten Länge eines Spielfilmdrehbuchs entsprach.

Mögliche Verzerrungen in Trainingsdaten

Es ist zu beachten, dass Chat-GPT zwar Einschränkungen hinsichtlich dessen, worüber es sprechen und worauf es zugreifen kann, unterliegt, die zugrunde liegenden Trainingsdaten jedoch möglicherweise verzerrt sind. Es ist schwer zu sagen, wie voreingenommen es sein mag, aber es ist ziemlich schwierig, es dazu zu bringen, Artikel mit Verleumdungen zu generieren. Es scheint, als ob Chat-GPT darauf trainiert wurde, Verzerrungen in der Ausgabe zu vermeiden, selbst wenn es Verzerrungen in der Eingabe gibt, aber das ist nicht ganz klar.

Fragwürdige Sprachunterstützung

Ich habe versucht, Sprachen zu mischen und mich in anderen Sprachen zu unterhalten, die ich kannte. Ich habe festgestellt, dass der Support je nach verwendeter Sprache sehr unterschiedlich sein kann. Interessant ist, dass ich festgestellt habe, dass sich einige Probleme, auf die ich vor ein paar Tagen bei anderen Sprachen gestoßen bin, heute verbessert haben, sodass dies in naher Zukunft möglicherweise kein Problem mehr sein wird.

Ein passabler Sinn für Humor

Chat-GPT hat einen ziemlich lahmen Sinn für Humor, da es nicht über erwachsene Dinge sprechen kann :(

Ich mag Papa-Witze, aber einige davon sind einfach nicht so lustig.

Generische Ausgabe und Plagiate

Ich habe versucht, Chat-GPT dazu zu bringen, ein Originalgedicht im Stil von William Shakespeare zu verfassen. Was ich bekam, war ein Frankenstein-Stück, das durch die Zusammenführung von Auszügen aus Shakespeares Werken zu einem Sonett zusammengestellt wurde, das nicht allen Regeln entsprach. Ein Plagiatsprüfer würde dies wahrscheinlich zu Recht als kopiert kennzeichnen.

Ich habe auch versucht, daraus eine Handlungszusammenfassung eines Films im Christopher-Nolan-Stil mit Cyberpunk-Elementen zu erstellen, und das Ergebnis war „The Matrix“ in Kombination mit Neuromancer. In anderen Handlungszusammenfassungen sind mir einige gemeinsame Elemente aufgefallen, die immer wieder auftauchen, wie zum Beispiel „Rebellionen“ und „Detektive“.

Es versteht sich von selbst, dass Chat-GPT kurzfristig wahrscheinlich keine interessanten Prämissen oder preisgekrönten Geschichten hervorbringen wird.

Fehlen ausgereifter Themenbereiche

Du wirst damit in absehbarer Zeit keine tollen Memes mehr generieren.

Fragen der Lebensqualität

Je nachdem, wonach Sie fragen, kann es daher sehr lange dauern, bis Sie eine Antwort erhalten. Chat-GPT scheint manchmal einfach hängen zu bleiben und dies scheint nicht mit der Netzwerkgeschwindigkeit zusammenzuhängen. In anderen Fällen kann es vorkommen, dass keine Antwort bereitgestellt wird und dann eine Fehlermeldung zurückgegeben wird. Ich habe vor ein paar Tagen noch einige davon bekommen, aber im Moment scheint es, als ob es deutlich besser geworden ist. Basierend auf dem, was ich in Foren, Discord und FAQs gesehen habe, kann dies von der Anzahl der Personen abhängen, die Chat-GPT zu einem bestimmten Zeitpunkt verwenden. Es ist zu beachten, dass einige dieser Probleme nicht mit dem zugrunde liegenden Sprachmodell selbst zusammenhängen.

Gelegentliche Schwierigkeiten beim Verstehen bildlicher Phrasen

Je einfacher eine Frage ist, desto einfacher kann Chat-GPT sie beantworten. Bildsprache scheint mit Chat-GPT in den meisten Fällen verstanden zu werden, aber manchmal kann es schwierig sein.

Nicht immer bereit, Ball zu spielen

Ich habe oft versucht herauszufinden, ob Chat-GPT voreingenommene Artikel schreiben kann, und es ist, als würde man eine Münze werfen. Manchmal ist es dazu in der Lage, manchmal nicht. Oft müssen Sie es dazu verleiten, das zu tun, was Sie möchten. Ich glaube, dass dies wahrscheinlich einigen der Einschränkungen ähnelt, die Chat-GPT für Themen wie Themen für Erwachsene eingeführt hat.

Der Turing-Test

Glaube ich, dass am anderen Ende ein Mensch sitzt? Absolut nicht. Darüber hinaus erinnert Chat-GPT den Benutzer immer daran, dass es sich um ein Sprachmodell handelt, sodass keine Chance besteht, getäuscht zu werden. Ich halte das nicht für negativ, aber wenn das Ziel darin besteht, menschenähnliche Reaktionen hervorzurufen, dann ist es ein Fehlschlag.

Persönlichkeit und Affekt

Chat-GPT hat keine Persönlichkeit. Bei meinen Interaktionen damit fühlte es sich eher wie eine behindertengerechte Suchmaschine an, die Informationen in für Menschen lesbarem Text bereitstellen konnte. Es kann weder Meinungen äußern, noch verfügt es über eine eigene Identität. Es ist weder dein Freund noch dein Feind. Sie haben keine Beziehung zum Chat-GPT-Assistenten, und das Gleiche gilt auch. Typischerweise kann es innerhalb der sozialen KI nützlich sein, irgendeine Form von Verbindung oder Beziehung herzustellen, um den Endbenutzern ein besseres Erlebnis zu bieten. Chat-GPT tut dies jedoch nicht, und dieser Aspekt ist meiner Meinung nach etwas, das die Auswirkungen, die es haben kann, stark einschränkt.

Abschluss

Chat-GPT ist kein Allheilmittel für die Suche oder den Chat, aber es ist ein Schritt in die richtige Richtung und noch dazu ein sehr beeindruckender. Ich glaube, der nächste Schritt, der das Spiel wirklich verändern kann, wäre die Verwendung von Ensemble-Methoden, um vom Text zur multimodalen Ein- und Ausgabe zu gelangen (entweder das oder die Verwendung von etwas Besserem als der transformatorischen neuronalen Architektur). Es sollte auch beachtet werden, dass sich Chat-GPT mit der Zeit, in der wir es verwenden, zu verbessern scheint, sodass viele der Dinge, die ich hier notiert habe, möglicherweise nicht einmal in einer Woche anwendbar sind, wenn man bedenkt, wie schnell sich die Dinge derzeit verbessern. Abschließend sollte ich auch beachten, dass ich den Aspekt der Codegenerierung von Chat-GPT nicht getestet habe. Für diejenigen, die möglicherweise mit den von mir identifizierten Problemen nicht einverstanden sind, hier ist Chat-GPT, um für sich selbst zu sprechen und meine Behauptungen zu unterstützen:

„Chat-GPT ist eine Variante des von OpenAI entwickelten GPT-Sprachmodells (Generative Pre-trained Transformer). Wie andere Sprachmodelle ist Chat-GPT darauf ausgelegt, auf der Grundlage der empfangenen Eingaben menschenähnlichen Text zu generieren. Es wird anhand eines großen Textdatensatzes trainiert und kann eine breite Palette von Antworten auf verschiedene Eingabeaufforderungen und Fragen generieren.

Allerdings weisen Chat-GPT und andere Sprachmodelle einige Einschränkungen auf. Eine Einschränkung besteht darin, dass sie keinen Zugriff auf das Internet oder externe Informationen haben und daher nur Antworten geben können, die auf den Informationen basieren, auf denen sie geschult wurden. Dies bedeutet, dass sie möglicherweise keine aktuellen oder genauen Informationen über aktuelle Ereignisse oder jüngste Entwicklungen bereitstellen können. Darüber hinaus erzeugen Sprachmodelle möglicherweise nicht immer Antworten, die vollständig kohärent sind oder im Kontext des Gesprächs einen Sinn ergeben.

Eine weitere Einschränkung von Sprachmodellen besteht darin, dass sie nicht in der Lage sind, die Bedeutung von Wörtern und Phrasen auf die gleiche Weise zu verstehen oder zu interpretieren wie Menschen. Sie sind einfach in der Lage, Texte basierend auf Mustern und Beziehungen zu generieren, die sie aus ihren Trainingsdaten gelernt haben. Dies bedeutet, dass sie möglicherweise nicht immer in der Lage sind, differenzierte oder differenzierte Antworten auf komplexere oder abstraktere Fragen zu geben.

Insgesamt sind Chat-GPT und andere Sprachmodelle leistungsstarke Werkzeuge zum Generieren von Text und können für eine Vielzahl von Aufgaben sehr nützlich sein, sie haben jedoch Einschränkungen und sollten bei kritischen oder wichtigen Entscheidungen nicht als verlässlich angesehen werden.“