Foundational Model Orchestration (FOMO) — İlk Başlangıç

VC Astasia Myers'ın makine öğrenimi, bulut altyapısı, geliştirici araçları, açık kaynak ve güvenlik konusundaki bakış açıları. Buradan kaydolun .

Makine Öğrenimi (ML) uygulamaları oluşturmaya yönelik iki yaklaşım vardır. Geleneksel olarak, veri bilimcileri ve makine öğrenimi mühendisleri, bir not defteri veya API olarak üretime dağıttıkları makine öğrenimi modellerini eğitir veya ince ayarlar yaparlardı. Son zamanlarda, yazılım geliştiricileri de içerebilen makine öğrenimi uygulayıcılarının, API aracılığıyla barındırılan bir temel modelden sonuçlar almak için hızlı mühendislikten yararlandığı yeni bir yaklaşım ortaya çıktı. Bilgi istemi mühendisliği, bir makine öğrenimi modelinden arzu edilen veya yararlı sonuçlar veren girdilerin keşfedilmesini içeren bir Doğal Dil İşleme (NLP) konseptidir. Temel modellerin yükselişiyle birlikte, temel model güdümlü bir iş akışı içindeki görevleri koordine eden Temel Model Orkestrasyonu (FOMO) adı verilen yeni araçların ortaya çıktığını gördük.

Stanford'a göre , temel modeller "geniş veriler üzerinde eğitilmiş (genellikle ölçekte kendi kendini denetlemeyi kullanan) ve çok çeşitli aşağı yönlü görevlere uyarlanabilen modellerdir." Günümüzde temel modeller, metin gibi tek bir yöntemi desteklemektedir (örn. Open GPT-3 , Cohere ve Anthropic ); görüntü ( Kararlılık , DallE ); video ( Microsoft X-Clip ); ve ses ( OpenAI Whisper ). Gelecekte çok modlu temel modelleri görmeyi bekliyoruz.

Temel modellerden yararlanan uygulamalar geliştiren 20 makine öğrenimi uygulayıcısıyla konuştuk. İlginç bir şekilde, %50'si yazılım mühendisleriydi ve makine öğrenimi içinde gelişmekte olan bir kişiydi. Temel modeller, makine öğrenimi modelleri oluşturmanın önündeki engelleri azalttığı ve daha yüksek bir soyutlama düzeyi olduğu için, ilk kez yazılım geliştiricilerin makine öğrenimi geliştirme sürecinin bir parçası haline geldiğini görüyoruz. Barındırılan Büyük Lange Modelleri (LLM'ler) ile çalışanlar için, zamanın %80'inde Açık GPT-3 , %15'inde Cohere ve %5'inde Antropik kullanıldı. En yaygın kullanım durumlarının arama, özetleme, Soru-Cevap ve sohbet botları olduğunu gördük.

FOMO çözümlerinin ortaya çıkmasının bir nedeni, temel model API'nin veri hesaplama ve bilgi sistemlerini içeren bir ardışık düzen bağlamında var olmasıdır. Çoğu zaman modelden değer bulma, yalnızca bir sonuç almak için API'yi sorgulamaz. Bunun yerine, çok adımlı bir süreçtir. Şu anda barındırılan API'ler, platform deneyiminin bir parçası olarak ön ve son işleme sunmamaktadır. Ön işleme için bir katalizör, temel modellerin ~4K belirteç sınırına sahip olmasıdır, bu nedenle kullanıcıların dizi bölme işlemini gerçekleştirmesi gerekir. FOMO çözümlerinin ortaya çıkmasının ikinci bir nedeni, şu anda temel modellerin ekiplerin veritabanları ve SaaS ürünleri gibi dış kaynaklarla doğrudan entegre olmasına izin vermemesidir. Bu, kullanıcıların belirli görevler veya etki alanları için performansı artırmak amacıyla kendi verilerini doğrudan modele ekleyemeyeceği anlamına gelir.

GPT-3 gibi temel bir model kullanarak transkriptleri özetlemek istediğinizi varsayalım. Bir saatlik bir toplantının transkriptiniz varsa, ~7,5 bin kelime olabilir. 1.500 kelime yaklaşık 2048 jetona eşittir, bu nedenle toplam transkript yaklaşık 10.000 jetondur. Bu, 4K belirteç sınırının ötesinde ve bir istem için çok fazla. Buna karşılık, metni üç gruba ayırmak için dize bölme ile başlamanız gerekir. Ardından, belgenin parçalarını özetlemek için GPT-3'ü kullandığınız bir eşleme/azaltma çabasıdır (parçalar arasında bir dereceye kadar örtüşme ile). Son olarak, nihai bir çıktı için özetleri özetlemek üzere modeli sorgularsınız.

Başka bir örnek, bir ders kitabı için Soru-Cevap hizmeti oluşturmak olabilir. Bu büyük miktarda bilgidir, bu nedenle malzemeleri parçalara bölen bir dizi ile başlarsınız. Parçaların katıştırmalarını oluşturabilir ve bunları Pinecone veya Weaviate gibi bir vektör deposunda bir araya ekleyebilirsiniz . Bir kullanıcı bir soru sorduğunda, aynı gömme modelini kullanarak sorguyu gömersiniz ve vektör veritabanınızı kullanarak bir kosinüs benzerlik araması yaparsınız. Bu, yanıt almak için temel bir model API'sine karşı kullanılabilecek bir bilgi istemi oluşturmanıza olanak tanır. Bu, ön işlemeden "k en yakın komşuyu" bulmaya, aramadan LLM modelini sorgulamaya ve bir dönüş yanıtı almak için istemde bulunmaya kadar çok adımlı süreci gösterir.

FOMO çözümleri, LLM'leri dahili veri sistemlerine bağlamak için değerlidir; A/B testi istemleri gibi hızlı mühendislik; modelleri birbirine zincirleme; temel modelleri değiştirmek; ve A/B testi temel modelleri. Temel modellerin, alma artışı için üçüncü taraf hizmetlerine bağlanma yeteneği eklemesini bekliyoruz, böylece bu işlevselliğin değeri zamanla azalır. Makine öğrenimi uygulayıcılarının yine de API'ye ping atan bireysel bilgi istemlerini yönetmesi gerekecek olsa da, sıfır adımlı öğrenme ve artırılmış belirteç limitleriyle bilgi istemi mühendisliğinin değerinin zaman içinde azalacağına inanıyoruz. Birbirine zincirlenmesi gereken belirli bir görev için ayarlanmış birden fazla temel modelin olduğu bir dünyaya inanıyoruz. Bu dünyada FOMO'nun değeri artıyor çünkü temel modellerin A/B testini kolaylaştırıyor, zincirleme hizmetler, ve modelleri kolayca değiştirebilirsiniz. Kullanıcılarla konuşurken, hangi model tedarikçisinin seçileceğine ilişkin karar kriterlerinin performans, maliyet, sonuç filtreleri ve mevcut ilişkilerin bir karışımı olduğunu duyduk. Sürekli olarak pingleme modeli API'lerinin pahalı olabileceğini ve bu nedenle şirketlerin müşteri katmanına göre farklı modeller kullanabileceğini duyduk. FOMO çözümleri, birleşik bir çoklu sağlayıcı arabirimi olarak maliyet tasarrufu ve satıcı esnekliği sağlamaya yardımcı olabilir.

Ek olarak, çok modlu bir modelin tüm görevleri yerine getirebileceği bir dünyaya inanmıyoruz, bu nedenle bir zincire gerek yok . Zaman içinde belirli görevlerde mükemmelleşen daha uzmanlaşmış temel modellerin olacağına inanıyoruz. Ayrıca, zincirlerin barındırılan makine öğrenimi API'leri ve kendi kendine hortumlanmış ince ayarlı modellerin bir karışımını içereceğini hayal edebiliyoruz. FOMO ürünleri LLM'lerle başlasa da, LLM'lerin ötesine geçerek çok modlu olmak üzere görüntü, video, ses vb. diğer temel model türlerine geçeceğini tahmin ediyoruz.

Bazıları neden temel model düzenlemesini veri veya makine öğrenimi düzenleme çözümleriyle yapamıyorsunuz diye merak ediyor olabilir. Bugün bu çözümlerin temel model ekosistemi için amaca yönelik oluşturma özellikleri ve bağdaştırıcıları yoktur. Yukarıda açıklandığı gibi, temel model ardışık düzenleri, verilerden veya makine öğreniminden farklıdır. Makine öğrenimi orkestrasyon çözümleri, eğitimden deneme izlemeye, dağıtıma ve hizmet vermeye kadar makine öğrenimi yaşam döngüsünü koordine etmeye odaklanır. FOMO çözümleri konu anlayışına sahiptir. Alternatifler önemli ölçüde artırılmalıdır. İmkansız olmasa da, en doğal uzantı değildir.

Artık temel model düzenleme alanında LangChain , Dust , GPT Index ve Cognosis dahil olmak üzere bir avuç teklif var . Kullanıcılardan, tekliflerin temel model uygulama geliştirmeyi hızlandırdığını ve piyasaya sürüldükten yalnızca birkaç ay sonra üretimde kullanıldığını duyduk.

FOMO'nun temel model altyapı yığınının önemli bir parçası olacağına inanıyoruz. İnsanların GPT-4'ü hevesle beklemesiyle algoritmalar hızla ilerlerken, araçlar da bir o kadar hızlı ortaya çıkıyor. Değerlendirme optimizasyonundan hata ayıklamaya, gözlemlenebilirliğe ve düşük kod platformlarına kadar, yeni bir temel model araç zincirinin ortaya çıkacağını tahmin ediyoruz. Siz veya tanıdığınız biri bir makine öğrenimi aracı başlangıcı veya bitişik teklif üzerinde çalışıyorsa, sizden haber almak harika olur. Aşağıya yorum yapın veya bize bildirmek için [email protected] adresinden bana e-posta gönderin.