Die wahre Leistungsfähigkeit von LLMs wird durch die Kombination und Orchestrierung der LLM-Funktionalität mit anderen Berechnungs- oder Wissensquellen genutzt.

Bevor wir uns mit API-Build-Tools für LLMs befassen, betrachten wir zunächst die traditionelle Chatbot-Architektur .

Wir alle sind mit der Entwicklung von Chatbots in einer webbasierten GUI vertraut, in der wir verschiedene Komponenten entwickeln, konfigurieren und orchestrieren, um einen Chatbot zu erstellen.

Zu diesen Komponenten gehören NLU, Dialogflussmanagement, Integration in APIs und mehr.

Sobald der Chatbot entwickelt ist, stellen wir ihn über eine API zur Nutzung bereit.

Nachfolgend finden Sie ein Beispiel aus der IBM Watson Assistant-Dokumentation , das Schritt für Schritt zeigt, wie über eine API auf den Watson Assistant-Chatbot zugegriffen werden kann.

Die Chatbot-API kann als intelligente API betrachtet werden, die Benutzereingaben erleichtert und verschiedene zugrunde liegende Dienste orchestriert, um dem Benutzer eine Antwort zu geben.

Nachfolgend finden Sie noch einmal ein Beispiel von Cognigy , bei dem eine grafisch erstellte Anwendung über einen Ruheendpunkt verfügbar gemacht wird.

Daher haben Chatbot- Entwicklungsframeworks dieses Prinzip zum Erstellen von APIs etabliert, die wie folgt sind:

• Sehr kontextbezogen und intelligent
• Orchestrierung zugrunde liegender Dienste und Systeme
• Erstellen eines einheitlichen Endpunkts anstelle eines verteilten Arrays verschiedener aufzurufender APIs

Zurück zu großen Sprachmodellen

Bei Frameworks wie LangChain , Dust , Steamship und anderen besteht die Idee darin, eine zugrunde liegende Orchestrierungs-Engine für LLM-Interaktionen zu erstellen und diese über eine API bereitzustellen.

Ein Produkt wie Retune liegt eher auf der Seite der Verwaltung von Eingabeaufforderungen für eine schnelle Entwicklung. Aber ich bin sicher, dass es sich mit zunehmenden Benutzeranforderungen eher zu einer Orchestrierungs-Engine entwickeln wird.

Aktuelle Chatbot-Entwicklungs-Frameworks können in die drei Hauptkategorien unterteilt werden:

• Pro-Code
• Low-Code, &
• Kein Code

LangChain ist beispielsweise eine Pro-Code- und eher technische Entwicklungsumgebung. Glücklicherweise sind die Dokumentation und der Beispielcode umfassend und beschleunigen den Lernprozess erheblich.

Dust verfügt über eine webbasierte GUI zum Konfigurieren von Blöcken und zum Verketten dieser Blöcke in Reihe oder parallel.

Steamship verwendet als Eingabeaufforderungen bereits vorhandene Eingabeaufforderungsketten und Python-Code und kombiniert die Funktionalität in einer verwalteten API.

Nachfolgend sind einige der LLM-, NLP- und ASR-Modelle aufgeführt, in die Steamship integrieren kann.

Retune verfolgt einen einfacheren Ansatz und konzentriert sich auf die Verwaltung von Eingabeaufforderungen und Chatbot-Sitzungen sowie auf die Erstellung fein abgestimmter Modelle.

Unten sehen Sie die GUI des Retune-Modells mit der Eingabeaufforderung, die das Verhalten der Konversationsschnittstelle beschreibt. Benutzer können das Modell über eine REST-API teilen.

Und unten ist die LLM-Chat-Funktionalität mit dem generierten Code zum Erstellen eines neuen Chats, zum Erstellen eines neuen Threads und zum Fortsetzen der Konversation aufgeführt.

Die Funktionalität wird innerhalb der Retune-Benutzeroberfläche sicherlich zunehmen … Retune ist nicht so fortschrittlich und detailliert wie Dust oder Langchain. Allerdings ist die Benutzeroberfläche viel weniger technisch und für technisch nicht versierte Benutzer intuitiver.

Humanloop ist noch nicht allgemein verfügbar, aber anscheinend basiert ihr Produkt auf diesen Prinzipien:

• Prompte Beschaffung und Verwaltung
• Feinabstimmung kundenspezifischer Modelle
• LLM-Kosten verwalten

Bestehende und etablierte Chatbot-Entwicklungs-Frameworks befinden sich in einer schwierigen Situation: Sie müssen sich fest auf ihr Produkt konzentrieren. Aufgrund der in das Produkt getätigten Investitionen ist eine kontinuierliche Erweiterung und Hinzufügung von Funktionen zum Produkt eine Selbstverständlichkeit.

Die neuen LLM-Anwendungen haben die Freiheit, die Stärken von LLM auszuschöpfen, ohne dass ein bestehendes Framework behindert wird. Mehr über dieses Dilemma können Sie hier lesen .

⭐️ Bitte folgen Sie mir auf LinkedIn für Updates zu Conversational AI ⭐️

Ich bin derzeit der Hauptevangelist bei HumanFirst . Ich erforsche und schreibe über alle Dinge an der Schnittstelle von KI und Sprache; von LLMs , Chatbots , Voicebots , Entwicklungs-Frameworks, datenzentrierten latenten Räumen und mehr.

Der Cobus Quadrant™ des NLU-Designs. Der Cobus Quadrant™ der Konversationsdesign-Fähigkeiten Große Sprachmodelle zwingen Konversations-KI-Frameworks dazu, nach außen zu blicken. Bestehende starre Chatbot-Architektur erfordert Flexibilität für große Sprachmodelle (LLM). Große Sprachmodelle (LLMs) werden traditionelle Chatbot-NLU nicht ersetzen … vorerst generative KI und die neue Kategorie von LLM-basierten Anwendungen . Die Anatomie Von Large Language Model (LLM) unterstützten Konversationsanwendungen Die Foundation Large Language Model (LLM) & Tooling Landscape