Geist wie ein Sieb: Das Halluzinations-„Problem“

Zu sagen, ich hätte die Erinnerung an einen Goldfisch, ist eher eine Beleidigung für den Goldfisch als für mich. Ich durchsuche Kalendereinladungen nach den Namen von Personen, mit denen ich am Vorabend stundenlang gesprochen habe. Ich schaue nach Formeln, die ich während meines Studiums hunderte Male verwendet habe. Meine Erinnerungen an das letzte Jahr bestehen aus 224 Notizen und 884 Fotos, die ordentlich auf meinem Telefon geordnet sind.

Ich habe kein fotografisches Gedächtnis. An guten Tagen ähnelt es eher einem impressionistischen Gemälde und an schlechten Tagen einem abstrakten. Bei Gesprächen über Halluzinationen kann ich mich in die KI hineinversetzen.

Hier ist ein Auszug aus der GPT-4-Ankündigung von letzter Woche:

Trotz seiner Fähigkeiten weist GPT-4 ähnliche Einschränkungen auf wie frühere GPT-Modelle. Am wichtigsten ist, dass es immer noch nicht völlig zuverlässig ist (es „halluziniert“ Fakten und macht Denkfehler).

Ja ich auch.

Meine Frage ist, ob wir Halluzinationen als ein Merkmal oder einen Fehler betrachten sollten. In diesem Artikel werden Halluzinationen als „generierter Inhalt, der unsinnig ist oder dem bereitgestellten Quellinhalt nicht entspricht“ definiert. Anders ausgedrückt handelt es sich bei Halluzinationen um Ergebnisse, die nicht mit den Modelltrainingsdaten konsistent zu sein scheinen.

Gemeinsam vergesslich

OpenAI muss noch sagen, wie viele Parameter hinter GPT-4 stecken. Wir wissen jedoch, dass GPT-3 175 Milliarden hatte. Das klingt vielleicht viel, aber es ist unmöglich, alle Trainingsdaten perfekt im Modell zu speichern. GPT-3 wurde auf fast 500 Milliarden Token trainiert , die einzeln mehr Informationen als einen Modellparameter enthalten. Das Modell kodiert Muster in den Trainingsdaten, nicht in den tatsächlichen Daten.

Ein KI-Modell ist ein unvollständiger Datenspeicher. Wenn es perfekt wäre, würden wir es eine Datenbank nennen. Die 175 Milliarden Parameter können auf vielfältige Weise konfiguriert werden. Das Modell kann die häufigsten Muster, die es aus den Trainingsdaten lernt, reproduzieren, es kann jedoch nicht alle Muster reproduzieren.

Der Mensch ist nicht besser. Jeder von uns kann seine 86 Milliarden Neuronen und 1 Billion Synapsen auf vielfältige Weise konfigurieren. Aber die Möglichkeiten sind endlich. Wir können nicht alle „Trainingsdaten“ speichern, die wir über unsere Seh-, Hör-, Tast-, Geruchs- und Geschmackssinne erhalten. Wir kodieren Darstellungen von Mustern und reproduzieren diese Muster als Erinnerungen.

Unsere Unfähigkeit, die Trainingsdaten, die wir erhalten, mit perfekter Wiedergabetreue zu speichern, ist gut dokumentiert. Die in den 1880er Jahren entwickelte Vergessenskurve von Ebbinghaus wurde erst 2015 bestätigt.

Wir können unsere neuronalen Verbindungen durch Wiederholungen stärken oder mit Techniken wie einem Gedächtnispalast auf den leistungsstarken visuellen Kortex zugreifen, aber unsere Kodierung ist immer noch verlustbehaftet. Wir verfügen nicht über genügend Synapsen, um jedes Muster in den von unserem Gehirn verarbeiteten Daten zu „speichern“.

Mit Sicherheit falsch

Vor einigen Jahren sagte einer meiner besten Freunde: „Der Unterschied zwischen Selbstvertrauen und Arroganz liegt im Können.“ Wir meiden arrogante KI aus demselben Grund, aus dem wir arrogante Menschen meiden. Selbstbewusste Menschen liefern vertrauenswürdige Informationen. Das gilt auch für arrogante Menschen, aber es ist schwer zu unterscheiden, was Tatsache und was Blödsinn ist. Arroganz und Halluzination sind zwei Seiten derselben Medaille.

Der Unterschied zwischen Menschen und Maschinen besteht darin, dass wir erkennen, dass unser Gehirn verlustbehaftet ist, und entsprechend handeln. Wir verwenden absichernde Sprache (z. B. „Ich denke“) und Körpersprache (z. B. das Hin- und Herrutschen auf unserem Stuhl), um Unsicherheit zu signalisieren. Wir beziehen sogar die Reaktionen anderer in unsere Unsicherheitsberechnungen ein (z. B. eine Pause als Reaktion auf gerunzelte Augenbrauen).

Frühen Sprachmodellen fehlte die Fähigkeit, Unsicherheit auf eine für den Menschen intuitive Weise zu kommunizieren. Die Unsicherheit war da, wenn man hinsah, aber die meisten von uns machten sich nicht die Mühe, die Funktion der Maschine zu überprüfen. Wir haben die Ausgabe einfach als Tatsache betrachtet und der Maschine vorgeworfen, zu halluzinieren, wenn diese Fakten falsch wären.

Hier ist ein Beispiel. Ich habe das Modell „text-davinci-003“ (basierend auf GPT-3) gefragt, ob die Aktie der Silicon Valley Bank eine gute Investition sei. Diese Frage kann das Modell nicht mit Sicherheit beantworten, da die Trainingsdaten nur bis 2021 reichen und Sprachmodelle schlecht in Mathematik sind.

Ich habe „Wahrscheinlichkeiten anzeigen“ aktiviert, damit ich die Vorhersagen für jeden Token sehen kann. Es überrascht nicht, dass die erste Vorhersage „Sil“ mit einer Wahrscheinlichkeit von 99,97 % war.

Das Modell hat den Namen der Bank nahezu sicher vorhergesagt. Das war der einfache Teil. Ich habe in meiner Eingabeaufforderung den Namen der Bank angegeben. Die nächste Vorhersage ist interessanter.

In Klammern sagte das Modell „SIVB“ voraus, den Börsenticker der Silicon Valley Bank. Die Top-Vorhersage war jedoch tatsächlich „SVB“, ein Akronym, das für die Bank verwendet wird. Wenn ich die „Temperatur“ auf Null setze (vollständig deterministisch), erhalte ich das Akronym „SVB“ anstelle des Börsentickers „SIVB“.

„SIVB“ ist eine Mikrohalluzination. Das Modell konnte nicht erkennen, dass es sich bei den Buchstaben um einen Börsenticker und nicht um ein Akronym handelte. Die Trainingsdaten enthielten Verweise sowohl auf SVB als auch auf SIVB, das Modell kodierte jedoch nicht die Nuancen zwischen ihnen.

Der Unterschied liegt in der Fähigkeit

Ich habe das gleiche Experiment mit GPT-4 durchgeführt. Hier ist der erste Teil der Antwort.

Das Modell weiß, dass „SVB“ eher ein Akronym als ein Ticker ist. Es bietet auch eine Absicherungssprache, um Unsicherheit zu signalisieren. Das Modell erzeugt anschließend eine vollständige Antwort.

Beachten Sie die korrekte Quellenangabe für „SIVB“ zusammen mit der zusätzlichen Absicherungssprache. Ist das Modell empfindungsfähig geworden und hat erkannt, dass es zum Vergessen fähig ist? Nein, es hat lediglich mehr Muster aus den Trainingsdaten codiert und gelernt, wann die Absicherungssprache zu verwenden ist.

Die großen Sprachmodelle von OpenAI werden weniger arrogant und selbstbewusster. Der Unterschied liegt in der Fähigkeit.

Feature oder Bug?

Was große Sprachmodelle so unglaublich macht, ist ihre Fähigkeit, neue Eingabeaufforderungen mithilfe von Mustern zu beantworten, die aus Trainingsdaten gelernt wurden. Nur wenige von uns sind erstaunt über Datenbanken, die Gigabytes an Informationen mit perfekter Wiedergabetreue speichern, aber wir sind fasziniert von Menschen, die die ersten 100 Ziffern von Pi aufsagen können.

Halluzinationen sind ein Nebenprodukt der Intelligenz. Es gibt kein zu lösendes Halluzinationsproblem. Je größer die KI-Modelle werden, desto mehr Muster werden kodiert. Am Limit werden neuronale Netze zu überkomplexen Datenbanken. Das verfehlt den Zweck. Wir bewegen uns immer auf einem schmalen Grat zwischen einem akzeptablen Grad an Halluzination und einer Überanpassung der Trainingsdaten.

Allerdings sollten wir das Kommunikationsproblem unbedingt lösen. GPT-4 hat in Bezug auf die Absicherungssprache Fortschritte gemacht. Vielleicht wird das Modell eines Tages sogar das Feedback unserer Antworten berücksichtigen, um seine Unsicherheitsschätzungen zu aktualisieren. Wir akzeptieren die Unsicherheit des Menschen, wenn sie voll zum Ausdruck kommt. Wir müssen die Maschinen auf dem gleichen Standard halten.

Halluzinationen sind ein Merkmal, kein Fehler.