In diesem Blog werde ich den Prozess der Verwendung von Reinforcement Learning (RL) zur Erstellung und Verbesserung eines großsprachigen Modells wie ChatGPT besprechen. Anschließend werde ich zeigen, wie OpenAI und Microsoft RL nutzen können, um zu verhindern, dass Konkurrenten auf dem Markt für generative KI mit ihnen konkurrieren. Anschließend werde ich neuen Startups Strategien vorschlagen, um die Festung anzugreifen. Sehen wir uns zunächst an, was wir unter einem „Graben“ verstehen, der Angreifer davon abhält, die ChatGPT-Burg zu erreichen.

Hintergrundinformationen zu Porters Fünf-Kräfte-Modell

1979 veröffentlichte Michael Porter seine bahnbrechende Arbeit über die Analyse des Wettbewerbscharakters einer Branche. Wir bezeichnen diesen Prozess nun als Porters Fünf-Kräfte-Analyse . Mithilfe des folgenden Diagramms können wir eine Reihe von Druckpunkten in einem bestimmten Markt visualisieren.

OpenAI berechnet bescheidene 20 US-Dollar pro Monat für den Premium-Zugang zu ChatGPT. Es gibt auch eine kostenlose Version für über 100 Millionen Benutzer . OpenAI nutzt diese Benutzer als Methode, um Feedback zu erhalten und ihr Modell zu verbessern.

Wenn wir ChatGPT objektiv betrachten, gibt es wirklich kein anderes öffentlich verfügbares Tool, das seinen Fähigkeiten auch nur annähernd entspricht. Obwohl die Benutzeroberfläche primitiv ist, ist die Qualität des generierten Textes im Vergleich zu seinen Konkurrenten atemberaubend. Dies ist das einzige Modell, das so universell ist und so viele verschiedene Verwendungsmöglichkeiten bietet .

Daher können wir OpenAI derzeit nur in den oben genannten generativen KI-Kreis einordnen. Aber das wird sich ändern und wir werden verstehen, warum Microsoft 10 Milliarden US-Dollar in OpenAI investiert hat.

Für diese Analyse ignorieren wir die Verhandlungsmacht der Käufer, da es keine Konkurrenz gibt. Die Verhandlungsmacht der Lieferanten ist die NIVIDA-GPU-Hardware innerhalb von Microsoft Azure und die Softwareentwickler innerhalb von OpenAI. Diese können auf lange Sicht nicht ignoriert werden, aber im Moment ist genug Geld vorhanden, um sowohl die Hardware zu kaufen als auch die OpenAI-Entwickler zu bezahlen. Damit bleibt eine Kraft übrig, die wir berücksichtigen müssen: die Bedrohung durch neue Marktteilnehmer. Es gibt Bedrohungen durch Ersatzstoffe für ChatGPT, etwa die Verwendung einer Suchmaschine oder das Lesen von Büchern, um Informationen zu finden. Keine dieser Optionen ist attraktiv.

Bedrohungen durch neue Marktteilnehmer

Betrachtet man das obige Diagramm, so wird die größte Kraft als Bedrohung durch neue Marktteilnehmer bezeichnet . Es besteht aus anderen großen Technologieunternehmen, die bereits stark im Bereich großer Sprachmodelle verankert sind. Das beinhaltet:

1. Google – die über Kenntnisse über Suche und Feedback verfügen, um neue Modelle zu erstellen
2. Amazon – verfügt über große Teams, die an maschinellem Lernen arbeiten, um ihre Cloud-Dienste zum Trainieren großer Sprachmodelle zu bewerben
3. Meta – Facebook sammelt rund 50.000 Fakten über Benutzer, die für detaillierte Vorhersagen darüber verwendet werden können, auf welche Anzeigen sie möglicherweise klicken
4. HuggingFace – erleichtert Entwicklern den Zugriff auf 100.000 Modelle und deren Feinabstimmung mithilfe schneller und einfacher Spaces-Anwendungen.

OpenAI hat einen erheblichen Vorsprung. OpenAI veröffentlichte sein GPT-Papier erstmals am 11. Juni 2018 . Am 14. Februar 2019 folgte GPT-2 mit 1,5 Milliarden Parametern. Am 11. Juni 2020 folgte der bahnbrechende GPT-3, der auf unglaubliche 175 Milliarden Parameter anstieg. Diese Ergebnisse waren beeindruckend, da die Qualität des von GPT-3 generierten Textes erstaunlich war. Aber OpenAI wurde nicht langsamer. Sie fügten Modelle hinzu, die das GPT-3-Basismodell mit einer besseren Erkennung von Unterrichtsabsichten verfeinerten, und integrierten außerdem ein weiteres Modell, das auf Software namens Codex trainiert wurde.

Immer wenn ein Benutzer einen Daumen nach oben oder einen Daumen nach unten gibt, gibt es mehr Daten für die Verbesserung der OpenAI-Modelle. Nach all dieser Arbeit wandten sie eine weitere Softwareschicht namens Reinforcement Learning with Human Feedback oder RLHF an. RLHF wird auch heute noch von diesen 100 Millionen Nutzern genutzt.

Drei Eintrittsbarrieren für kognitive Assistenten

Hier sind die drei Hauptfaktoren, die Neueinsteiger davon abhalten, sich dem Kampf gegen ChatGPT anzuschließen.

1. Das KI-Talent – ​​Haben Sie Mitarbeiter, die ein tiefes Verständnis für NLP und große Sprachmodelle haben? Verfügen sie über ein ausgeprägtes Verständnis für die Wissensdarstellung der Daten Ihres Unternehmens? Kann Ihr Unternehmen diese Talente in einer brandaktuellen Branche einstellen und halten?
2. Die Kosten für die Schulungshardware – Hat Ihr Unternehmen Zugriff auf Tausende von GPUs/TPUs/IPUs oder HBUs, um großsprachige Modelle zu trainieren und zu optimieren?
3. Das Feedback – Haben Sie Hunderttausende Benutzer, die bereit sind, Ihnen Feedback zu geben? OpenAI hat heute über 100 Millionen Benutzer, und diese Zahl wird voraussichtlich noch steigen, da sie ihre Modelle mit diesem Feedback verfeinern.

Wenden Sie etwas Systemdenken an

Wenn wir die Prinzipien des Systemdenkens auf dieses Problem anwenden, sehen wir ein Kausalschleifendiagramm (Causal Loop Diagram, CLD) mit einem positiven Verstärkungszyklus. Es sieht wie folgt aus:

Diese kleine CLD kann durch die Beschreibung der Beziehungen erklärt werden:

1. Data to Model – wir verwenden Daten, um maschinelle Lernmodi zu erstellen.
2. Model to Prediction – Wir verwenden Modelle des maschinellen Lernens, um auf der Grundlage von Vorwissen Vorhersagen über die Zukunft zu treffen.
3. Vorhersagen ermöglichen Feedback – sobald wir einigermaßen gute Vorhersagen treffen können, werden uns Menschen Feedback geben.
4. Feedback ist Daten – wir können Feedback als neue Daten verwenden, um unsere Modelle zu verbessern.

Weitere Informationen zur Rolle des Systemdenkens finden Sie in den Blogs „ The God Graph“ und „Systems Thinking for Knowledge Management“ .

Das KI-Schwungrad mit menschlichem Feedback

Die obige Abbildung ist das klassische „KI-Schwungrad“, das beschreibt, wie Unternehmen Daten sammeln, Vorhersagemodelle erstellen, Vorhersagen treffen und menschliches Feedback nutzen, um mehr Daten zu sammeln und so bessere Vorhersagen zu treffen. Ich verwende dieses Modell in fast jedem KR- und KI-Kurs, den ich unterrichte, weil es von grundlegender Bedeutung ist, um zu verstehen, wie Unternehmen Feedback nutzen, um neue kognitive Assistenten zu entwickeln.

Ich habe die traditionelle vereinfachte 4-Komponenten-Schleife (Daten, Modell, Vorhersage, Feedback) geändert, um ein paar weitere Details aufzunehmen. Es gibt zwei wesentliche Merkmale des Diagramms, auf die wir uns konzentrieren möchten.

Erstens möchten wir sicherstellen, dass jeder versteht, dass Feedback kontextbezogen ist. Sie möchten nicht nur wissen, dass das Feedback von einem Menschen kommt, sondern Sie möchten auch den Kontext dieser Person in ihrer Umgebung kennen. Wenn es sich um Feedback zu einem Codierungsvorschlag handelt, möchten Sie wissen, ob es sich um einen Senior- oder Junior-Entwickler handelt. Wenn es sich um Feedback zu einem generierten Brief handelt, möchten Sie wissen, ob der Leser ein Fachexperte oder ein Neuling ist. Der Kontext ist alles. Wenn Sie also keinen Wissensgraphen verwenden, verwerfen Sie die meisten Ihrer Informationen über den Menschen, der Ihnen Feedback gibt.

Zweitens müssen Sie verstehen, dass Sie keine Informationen von Menschen sammeln, es sei denn, Sie bieten ihnen einen Mehrwert. Das bedeutet, dass der Benutzer Ihre Vorschläge deaktiviert, wenn mindestens ein Drittel Ihrer Vorschläge nicht korrekt sind. Sie sind ärgerlicher als lohnenswert. Aus diesem Grund müssen Sie möglicherweise Benutzer dafür bezahlen, dass sie Ihnen Feedback geben, wenn Ihr Vorhersagemodell nicht den 1/3-Grenzwert erreicht. Genau das mussten Unternehmen wie OpenAI vor ihrer Produkteinführung tun. Als die Leute begannen, es (kostenlos) zu nutzen, begann der Strom an Feedback zu strömen. Und mit jedem Klick wird der Graben um ChatGPT größer.

Abschluss

Zusammenfassend lässt sich sagen, dass Feedback und verstärkendes Lernen zu Netzwerkeffekten führen, die dazu führen, dass der allgemeine ChatGPT-gesteuerte Markt für allgemeine kognitive Assistenten weiterhin konkurriert. Wenn Sie ein kleines Unternehmen sind, verfügen Sie möglicherweise nicht über die Ressourcen, um in diesem Bereich konkurrenzfähig zu sein. Das lässt für kleine Unternehmen immer noch viele Möglichkeiten, kognitive Assistenten zu entwickeln, die in engen Disziplinen arbeiten und Zugang zu speziellen Daten und Freiwilligen haben, die sie bei der Feinabstimmung ihrer Vorhersagen unterstützen. Schließlich sollten kleine Startups Lizenzsysteme wie die GPT-3-Davinci-Modelle von OpenAI in Betracht ziehen und in Produkte integrieren.