Foundational Model Orchestration (FOMO) – Eine Einführung

Die Perspektiven von VC Astasia Myers zu maschinellem Lernen, Cloud-Infrastruktur, Entwicklertools, Open Source und Sicherheit. Melden Sie sich hier an .

Es gibt zwei Ansätze zum Erstellen von Anwendungen für maschinelles Lernen (ML). Traditionell trainierten oder optimierten Datenwissenschaftler und ML-Ingenieure ML-Modelle, die sie als Notebook oder API in der Produktion bereitstellten. Kürzlich wurde ein neuer Ansatz entwickelt, bei dem ML-Praktiker, zu denen auch Softwareentwickler gehören können, Prompt Engineering nutzen, um Ergebnisse aus einem gehosteten Basismodell über eine API zu erhalten. Prompt Engineering ist ein NLP-Konzept (Natural Language Processing), bei dem Eingaben ermittelt werden, die wünschenswerte oder nützliche Ergebnisse aus einem ML-Modell liefern. Mit dem Aufkommen grundlegender Modelle haben wir die Entstehung neuer Tools namens Foundational Model Orchestration (FOMO) erlebt, die Aufgaben innerhalb eines grundlegenden modellgesteuerten Arbeitsablaufs koordinieren.

Laut Stanford sind grundlegende Modelle „Modelle, die auf breiten Daten trainiert werden (im Allgemeinen unter Verwendung von Selbstüberwachung im großen Maßstab), die an ein breites Spektrum nachgelagerter Aufgaben angepasst werden können.“ Heutzutage unterstützen grundlegende Modelle eine einzelne Modalität wie Text (z. B. Open GPT-3 , Cohere und Anthropic ); Bild ( Stabilität , DallE ); Video ( Microsoft X-Clip ); und Audio ( OpenAI Whisper ). Wir gehen davon aus, dass es in Zukunft multimodale Grundmodelle geben wird.

Wir haben mit 20 ML-Praktikern gesprochen, die Anwendungen entwickeln, die grundlegende Modelle nutzen. Interessanterweise waren 50 % Softwareentwickler, eine aufstrebende Persönlichkeit innerhalb des ML. Da grundlegende Modelle die Hürde für die Erstellung von ML-Modellen senken und eine höhere Abstraktionsebene darstellen, erleben wir zum ersten Mal, dass Softwareentwickler Teil des ML-Entwicklungsprozesses werden. Für diejenigen, die mit gehosteten Large Lange Models (LLMs) arbeiten, wurde Open GPT-3 in 80 % der Fälle, Cohere in 15 % und Anthropic in 5 % der Fälle verwendet. Wir fanden heraus, dass die häufigsten Anwendungsfälle Suche, Zusammenfassung, Fragen und Antworten und Chatbots waren.

Ein Grund für die Entstehung von FOMO-Lösungen liegt darin, dass die grundlegende Modell-API im Kontext einer Pipeline existiert, die Datenberechnungs- und Wissenssysteme umfasst. In den meisten Fällen besteht die Suche nach Werten aus dem Modell nicht nur darin, die API abzufragen, um ein Ergebnis zu erhalten. Stattdessen handelt es sich um einen mehrstufigen Prozess. Derzeit bieten gehostete APIs keine Vor- und Nachbearbeitung als Teil der Plattformerfahrung. Ein Auslöser für die Vorverarbeitung ist, dass grundlegende Modelle ein Token-Limit von ~4K haben, sodass Benutzer eine String-Aufteilung durchführen müssen. Ein zweiter Grund für das Auftauchen von FOMO-Lösungen besteht darin, dass grundlegende Modelle Teams derzeit keine direkte Integration mit externen Ressourcen wie Datenbanken und SaaS-Produkten ermöglichen. Dies bedeutet, dass Benutzer ihre eigenen Daten nicht direkt zum Modell hinzufügen können, um die Leistung für bestimmte Aufgaben oder Domänen zu verbessern.

Nehmen wir an, Sie möchten Transkripte mithilfe eines grundlegenden Modells wie GPT-3 zusammenfassen. Wenn Sie eine Abschrift einer einstündigen Besprechung haben, kann diese etwa 7,5.000 Wörter umfassen. 1.500 Wörter entsprechen etwa 2048 Token, sodass das gesamte Transkript etwa 10.000 Token umfasst. Das liegt über der 4K-Token-Grenze und ist zu viel für eine Eingabeaufforderung. Im Gegenzug müssen Sie mit der Zeichenfolgenaufteilung beginnen, um den Text in drei Gruppen zu unterteilen. Dann ist es ein Zuordnungs-/Reduzierungsaufwand, bei dem Sie GPT-3 verwenden, um Teile des Dokuments zusammenzufassen (mit einem gewissen Grad an Überlappung zwischen den Teilen). Zuletzt fragen Sie das Modell ab, um die Zusammenfassungen für eine endgültige Ausgabe zusammenzufassen.

Ein weiteres Beispiel wäre die Erstellung eines Frage-und-Antwort-Dienstes für ein Lehrbuch. Da es sich hierbei um eine große Menge an Informationen handelt, beginnen Sie damit, die Materialien in Blöcke aufzuteilen. Sie können Einbettungen von Blöcken erstellen und diese in einem Vektorspeicher wie Pinecone oder Weaviate zusammenfügen . Wenn ein Benutzer eine Frage stellt, betten Sie die Abfrage mithilfe desselben Einbettungsmodells ein und führen mithilfe Ihrer Vektordatenbank eine Kosinus-Ähnlichkeitssuche durch. Dadurch können Sie eine Eingabeaufforderung erstellen, die für eine grundlegende Modell-API verwendet werden kann, um eine Antwort zu erhalten. Dies zeigt den mehrstufigen Prozess von der Vorverarbeitung über die Einbettung und die Suche nach „k nächsten Nachbarn“ bis hin zur Abfrage des LLM-Modells mit der Aufforderung, eine Antwort zu erhalten.

FOMO-Lösungen sind wertvoll für die Anbindung von LLMs an interne Datensysteme; Prompt-Engineering wie A/B-Test-Prompts; Verketten von Modellen; Grundmodelle wechseln; und A/B-Tests grundlegender Modelle. Wir gehen davon aus, dass grundlegende Modelle die Möglichkeit zur Anbindung an Dienste Dritter zur Erweiterung des Abrufs bieten werden, so dass der Wert dieser Funktionalität mit der Zeit abnimmt. Während ML-Anwender immer noch die einzelnen Eingabeaufforderungen verwalten müssen, die die API anpingen, glauben wir, dass der Wert des Prompt-Engineerings mit der Zeit durch Zero-Shot-Learning und erhöhte Token-Limits abnehmen wird. Wir glauben an eine Welt, in der es mehrere grundlegende Modelle gibt, die auf eine bestimmte Aufgabe abgestimmt sind und miteinander verkettet werden müssen. In dieser Welt steigt der Wert von FOMO, weil es A/B-Tests grundlegender Modelle, die Verkettung von Diensten usw. ermöglicht. und Modellwechsel einfach. Als wir mit Benutzern sprachen, erfuhren wir, dass die Entscheidungskriterien für die Wahl des Modellanbieters eine Mischung aus Leistung, Kosten, Ergebnisfiltern und bestehenden Beziehungen sind. Wir haben immer wieder gehört, dass Ping-Modell-APIs teuer sein können, sodass Unternehmen je nach Kundenstufe möglicherweise unterschiedliche Modelle verwenden. FOMO-Lösungen können zu Kosteneinsparungen und Anbieterflexibilität beitragen, indem sie eine einheitliche Schnittstelle für mehrere Anbieter darstellen.

Darüber hinaus glauben wir nicht an eine Welt, in der ein multimodales Modell alle Aufgaben erfüllen kann, sodass keine Kette erforderlich ist . Wir glauben, dass es im Laufe der Zeit spezialisiertere Basismodelle geben wird, die bei bestimmten Aufgaben hervorragende Leistungen erbringen. Darüber hinaus können wir uns vorstellen, dass Ketten eine Mischung aus gehosteten ML-APIs und selbstgesteuerten, fein abgestimmten Modellen umfassen. Während FOMO-Produkte mit LLMs begonnen haben, gehen wir davon aus, dass sie über LLMs hinaus auf andere grundlegende Modelltypen wie Bild, Video, Audio usw. übergehen werden, um multimodal zu sein.

Einige fragen sich vielleicht: Warum können Sie keine grundlegende Modellorchestrierung mit Daten- oder ML-Orchestrierungslösungen durchführen? Heutzutage verfügen diese Lösungen nicht über speziell entwickelte Funktionen und Adapter für das grundlegende Modellökosystem. Wie oben beschrieben, unterscheiden sich grundlegende Modellpipelines von Daten oder ML. ML-Orchestrierungslösungen konzentrieren sich auf die Koordinierung des ML-Lebenszyklus von der Schulung über die Experimentverfolgung bis hin zur Bereitstellung und Bereitstellung. FOMO-Lösungen verfügen über Themenverständnis. Die Alternativen müssten deutlich erweitert werden. Es ist zwar nicht unmöglich, aber nicht die natürlichste Erweiterung.

Mittlerweile gibt es eine Handvoll Angebote im Bereich der grundlegenden Modellorchestrierung, darunter LangChain , Dust , GPT Index und Cognosis . Wir haben von Benutzern gehört, dass die Angebote die Entwicklung grundlegender Modellanwendungen beschleunigen und bereits wenige Monate nach ihrer Veröffentlichung in der Produktion eingesetzt werden.

Wir glauben, dass FOMO ein Schlüsselelement des grundlegenden Modellinfrastruktur-Stacks sein wird. Während sich Algorithmen rasant weiterentwickeln und die Menschen GPT-4 mit Spannung erwarten, entstehen auch Tools ebenso schnell. Von der Evaluierungsoptimierung über das Debuggen und die Beobachtbarkeit bis hin zu Low-Code-Plattformen gehen wir davon aus, dass eine neue grundlegende Modell-Toolkette entstehen wird. Wenn Sie oder jemand, den Sie kennen, an einem ML-Tooling-Startup oder einem angrenzenden Angebot arbeitet, würden wir uns freuen, von Ihnen zu hören. Kommentieren Sie unten oder senden Sie mir eine E-Mail an [email protected] , um uns Bescheid zu geben.