La puissance réelle des LLM est exploitée en combinant et en orchestrant la fonctionnalité LLM avec d'autres sources de calcul ou de connaissances.

Avant d'aborder les outils de création d'API pour les LLM, considérons d'abord l'architecture de chatbot traditionnelle .

Nous sommes tous familiers avec le développement de chatbots dans une interface graphique Web où nous développons, configurons et orchestrons différents composants pour créer un chatbot.

Ces composants incluent NLU, la gestion des flux de dialogue, l'intégration aux API, etc.

Une fois le chatbot développé, nous exposons le chatbot pour une utilisation via une API.

Vous trouverez ci-dessous un exemple de la documentation IBM Watson Assistant , montrant étape par étape comment le chatbot Watson Assistant est accessible via une API.

L'API chatbot peut être considérée comme une API intelligente facilitant la saisie de l'utilisateur et orchestrant différents services sous-jacents pour donner une réponse à l'utilisateur.

Ci-dessous, à nouveau, un exemple de Cognigy où une application construite graphiquement est exposée via un point de terminaison de repos.

Les frameworks de développement de chatbot ont donc établi ce principe de construction d'API qui sont :

• Très contextuel et intelligent
• Orchestration des services et systèmes sous-jacents
• Créer un point de terminaison unifié au lieu d'un tableau dispersé de différentes API à appeler

Retour aux grands modèles de langage

Avec des frameworks comme LangChain , Dust , Steamship et plus encore, l'idée est de créer un moteur d'orchestration sous-jacent pour les interactions LLM et de le mettre en évidence via une API.

Un produit comme Retune se trouve davantage du côté de la gestion des invites pour une ingénierie rapide. Mais je suis sûr qu'il évoluera vers un moteur d'orchestration à mesure que les besoins des utilisateurs augmenteront.

Les cadres de développement de chatbot actuels peuvent être divisés en trois catégories principales :

• Pro-Code
• Low-Code, &
• Pas de code

Par exemple, LangChain est un environnement de développement pro-code et plus technique. Heureusement, la documentation et les exemples de code sont complets et accélèrent vraiment le processus d'apprentissage.

Dust dispose d'une interface graphique Web pour configurer des blocs et enchaîner ces blocs en série ou en parallèle.

Steamship prend comme invites d'entrée, des chaînes d'invite préexistantes et du code Python et combine la fonctionnalité dans une API gérée.

Vous trouverez ci-dessous certains des modèles LLM, NLP et ASR auxquels Steamship peut s'intégrer.

Retune est plus simpliste dans son approche, en mettant l'accent sur la gestion des sessions d'invite et de chatbot ainsi que sur la création de modèles affinés.

Ci-dessous, vous voyez l'interface graphique du modèle Retune, avec l'invite décrivant le comportement de l'interface conversationnelle. Les utilisateurs peuvent partager le modèle via une API REST.

Et ci-dessous se trouve la fonctionnalité de chat LLM, avec le code généré pour créer un nouveau chat, créer un nouveau fil et poursuivre la conversation.

La fonctionnalité augmentera certainement dans l'interface utilisateur de Retune… Retune n'est pas aussi avancé et granulaire que Dust ou Langchain. Cependant, l'interface est beaucoup moins technique et plus intuitive pour les utilisateurs non techniques.

Humanloop n'est pas encore généralement disponible, mais apparemment, leur produit repose sur ces principes :

• Approvisionnement et gestion rapides
• Affiner les modèles personnalisés
• Gestion des coûts LLM

Les cadres de développement de chatbot existants et établis se retrouvent dans une situation difficile… ils doivent rester fermement concentrés sur leur produit. L'augmentation continue et l'ajout de fonctionnalités au produit sont une évidence en raison des investissements réalisés dans leur produit.

Les nouvelles applications LLM ont la liberté de jouer en fonction des points forts des LLM, sans inhibiteurs d'un cadre existant. Vous pouvez en savoir plus sur cette situation ici .

⭐️ Veuillez me suivre sur LinkedIn pour les mises à jour sur l'IA conversationnelle ⭐️

Je suis actuellement l' évangéliste en chef @ HumanFirst . J'explore et j'écris sur tout ce qui se situe à l'intersection de l'IA et du langage ; allant des LLM , Chatbots , Voicebots , Frameworks de développement, espaces latents centrés sur les données et plus encore.

Le Cobus Quadrant™ de la conception NLU Le Cobus Quadrant™ des capacités de conception de conversation Les grands modèles de langage obligent les cadres d'IA conversationnels à se tourner vers l'extérieur L' architecture de chatbot rigide existante a besoin de la flexibilité des grands modèles de langage (LLM) Les grands modèles de langage (LLM) ne remplaceront pas le chatbot traditionnel NLU… Pour l'instant l' IA générative et la nouvelle catégorie d'applications alimentées par LLM L'anatomie Des applications conversationnelles alimentées par le modèle LLM (Large Language Model) La fondation Large Language Model (LLM) et le paysage des outils