Foundational Model Orchestration (FOMO) - Un primer

Le prospettive di VC Astasia Myers su machine learning, infrastruttura cloud, strumenti per sviluppatori, open source e sicurezza. Iscriviti qui .

Esistono due approcci alla creazione di applicazioni di Machine Learning (ML). Tradizionalmente, i data scientist e gli ingegneri ML formavano o perfezionavano i modelli ML che distribuivano alla produzione come notebook o API. Di recente è emerso un nuovo approccio in cui i professionisti del machine learning, che possono includere sviluppatori di software, sfruttano il prompt engineering per ottenere risultati da un modello di base ospitato tramite API. L'ingegneria rapida è un concetto di elaborazione del linguaggio naturale (NLP) che implica la scoperta di input che producono risultati desiderabili o utili da un modello ML. Con l'ascesa dei modelli di base, abbiamo visto l'emergere di nuovi strumenti chiamati Foundational Model Orchestration (FOMO) che coordinano le attività all'interno di un flusso di lavoro basato su modello di base.

Secondo Stanford , i modelli fondamentali sono "modelli addestrati su dati ampi (generalmente utilizzando l'auto-supervisione su larga scala) che possono essere adattati a un'ampia gamma di attività a valle". Oggi i modelli fondazionali supportano un'unica modalità come il testo (es. Open GPT-3 , Cohere e Anthropic ); immagine ( Stabilità , DallE ); video ( Microsoft X-Clip ); e audio ( OpenAI Whisper ). Ci aspettiamo di vedere modelli fondamentali multimodali in futuro.

Abbiamo parlato con 20 professionisti del machine learning che creano applicazioni sfruttando i modelli di base. È interessante notare che il 50% erano ingegneri del software, una persona emergente all'interno di ML. Poiché i modelli di base riducono la barriera alla creazione di modelli ML e rappresentano un livello di astrazione più elevato, per la prima volta vediamo gli sviluppatori di software diventare parte del processo di sviluppo ML. Per coloro che lavorano con Large Lange Model (LLM) ospitati, Open GPT-3 è stato utilizzato l'80% delle volte, Cohere il 15% e Anthropic il 5%. Abbiamo scoperto che i casi d'uso più comuni erano ricerca, riepilogo, domande e risposte e chatbot.

Uno dei motivi per cui sono emerse le soluzioni FOMO è perché l'API del modello di base esiste nel contesto di una pipeline che include il calcolo dei dati e i sistemi di conoscenza. La maggior parte delle volte la ricerca di valore dal modello non consiste solo nell'interrogare l'API per ricevere un risultato. Invece, è un processo in più fasi. Attualmente, le API ospitate non offrono pre e post-elaborazione come parte dell'esperienza della piattaforma. Un catalizzatore per la pre-elaborazione è che i modelli di base hanno un limite di token ~ 4K, quindi gli utenti devono eseguire la suddivisione delle stringhe. Un secondo motivo per cui sono apparse le soluzioni FOMO è che i modelli fondamentali attualmente non consentono ai team di integrarsi direttamente con risorse esterne come database e prodotti SaaS. Ciò significa che gli utenti non possono aggiungere i propri dati direttamente al modello per migliorare le prestazioni per determinate attività o domini.

Supponiamo che tu voglia riassumere le trascrizioni utilizzando un modello fondamentale come GPT-3. Se hai una trascrizione di una riunione di un'ora, può contenere circa 7.500 parole. 1.500 parole equivalgono a circa 2048 token, quindi la trascrizione totale è di circa 10.000 token. È oltre il limite del token 4K e troppo per un prompt. A sua volta è necessario iniziare con la divisione delle stringhe per suddividere il testo in tre gruppi. Quindi è uno sforzo di mappatura/riduzione in cui si utilizza GPT-3 per riepilogare parti del documento (con un certo grado di sovrapposizione tra parti). Infine, esegui una query sul modello per riepilogare i riepiloghi per un output finale.

Un altro esempio potrebbe essere la creazione di un servizio di domande e risposte per un libro di testo. Questa è una grande quantità di informazioni, quindi inizi con una stringa suddividendo i materiali in blocchi. Puoi creare incorporamenti di blocchi e aggiungerli insieme in un archivio vettoriale come Pinecone o Weaviate . Quando un utente pone una domanda, incorpori la query utilizzando lo stesso modello di incorporamento ed esegui una ricerca di somiglianza del coseno utilizzando il tuo database vettoriale. Ciò consente di creare un prompt che può essere utilizzato su un'API del modello di base per ottenere una risposta. Ciò dimostra il processo in più fasi di pre-elaborazione per l'incorporamento alla ricerca di "k vicini più vicini" alla ricerca del modello LLM con una richiesta per ottenere una risposta di ritorno.

Le soluzioni FOMO sono preziose per legare gli LLM ai sistemi di dati interni; ingegneria tempestiva come prompt di test A/B; modelli di concatenamento insieme; cambiare i modelli fondamentali; e modelli fondamentali di test A/B. Prevediamo che i modelli di base aggiungeranno la possibilità di collegarsi a servizi di terze parti per l'aumento del recupero in modo che il valore di questa funzionalità diminuisca nel tempo. Sebbene i professionisti del machine learning debbano ancora gestire i singoli prompt che eseguono il ping dell'API, riteniamo che il valore dell'ingegneria dei prompt diminuirà nel tempo con l'apprendimento zero-shot e l'aumento dei limiti dei token. Crediamo in un mondo in cui ci sono più modelli fondamentali che sono sintonizzati per un particolare compito che deve essere concatenato insieme. In questo mondo il valore di FOMO aumenta perché facilita i modelli fondamentali di test A/B, servizi di concatenamento, e cambiare facilmente i modelli. Parlando con gli utenti, abbiamo sentito che i criteri decisionali per quale fornitore di modelli scegliere è un mix di prestazioni, costi, filtri dei risultati e relazioni esistenti. Abbiamo costantemente sentito che le API del modello di ping possono essere costose, quindi le aziende possono utilizzare modelli diversi in base al livello del cliente. Le soluzioni FOMO possono aiutare a consentire risparmi sui costi e flessibilità del fornitore essendo un'interfaccia multi-provider unificata.

Inoltre, non crediamo in un mondo in cui un modello multimodale possa eseguire tutte le attività, quindi non è necessaria una catena . Crediamo che nel tempo ci saranno modelli di base più specializzati che eccellono in compiti particolari. Inoltre, possiamo immaginare che le catene includeranno un mix di API ML ospitate e modelli ottimizzati self-hosed. Sebbene i prodotti FOMO siano iniziati con gli LLM, prevediamo che andranno oltre gli LLM verso altri tipi di modelli fondamentali come immagini, video, audio, ecc. per essere multimodali.

Alcuni potrebbero chiedersi, perché non puoi eseguire l'orchestrazione del modello di base con soluzioni di orchestrazione di dati o ML? Oggi queste soluzioni non dispongono di funzionalità e adattatori appositamente creati per l'ecosistema del modello di base. Come descritto in precedenza, le pipeline del modello di base sono diverse dai dati o dal machine learning. Le soluzioni di orchestrazione ML si concentrano sul coordinamento del ciclo di vita ML dalla formazione al monitoraggio degli esperimenti fino alla distribuzione e al servizio. Le soluzioni FOMO hanno una comprensione dell'argomento. Le alternative dovrebbero essere notevolmente aumentate. Anche se non impossibile, non è l'estensione più naturale.

Ora ci sono una manciata di offerte nello spazio di orchestrazione del modello fondamentale tra cui LangChain , Dust , GPT Index e Cognosis . Abbiamo sentito dagli utenti che le offerte accelerano lo sviluppo dell'applicazione del modello di base e vengono utilizzate in produzione solo pochi mesi dopo il loro rilascio.

Riteniamo che FOMO sarà un elemento chiave dello stack dell'infrastruttura del modello fondamentale. Mentre gli algoritmi stanno avanzando rapidamente con le persone che anticipano con impazienza GPT-4, gli strumenti stanno emergendo altrettanto velocemente. Dall'ottimizzazione della valutazione al debug, dall'osservabilità alle piattaforme a basso codice, prevediamo che emergerà una nuova catena di strumenti del modello fondamentale. Se tu o qualcuno che conosci sta lavorando a una startup di strumenti ML o a un'offerta adiacente, sarebbe bello avere tue notizie. Commenta qui sotto o scrivimi a [email protected] per farcelo sapere.