Stan LLaMA 2023/Q1

Oto mapa myśli dla AI/ML ChatGPT (i Rust ) związana z obecnym stanem (i liczeniem) na własny użytek.

• lama : Otwarte i wydajne modele języka podstawowego.
• LLaMA_MPS : Uruchom wnioskowanie LLaMA (i Stanford-Alpaca) na procesorach graficznych Apple Silicon.
• llama.cpp : Wnioskowanie modelu LLaMA w czystym C/C++.
• alpaca.cpp : Łączy podstawowy model LLaMA z otwartą reprodukcją Stanford Alpaca, dostrojenie podstawowego modelu do wykonywania instrukcji (podobnie jak RLHF używany do szkolenia ChatGPT) oraz zestaw modyfikacji do llama.cpp do dodania interfejs czatu.
• llama-rs : Zrób coś z LLaMA, ale teraz w Rust
• alpaka : Stanford Alpaca: model LLaMA zgodny z instrukcją
• codealpaca : zgodny z instrukcjami model LLaMA przeszkolony w zakresie instrukcji generowania kodu.
• alpaca-lora : strojenie instrukcji LLaMA niskiej rangi// train 1hr/RTX 4090
• llama-node : biblioteka kliencka Node.js dla llama LLM zbudowana na bazie llama-rs. Używa napi-rsjako Node.js i komunikacji natywnej.
• RLLaMA : implementacja kodu wnioskowania LLaMA w Rust+OpenCL+AVX2.
• Dolly : To dostraja model GPT-J 6B w zbiorze danych Alpaca za pomocą notatnika Databricks.
• Flan-Alpaca : strojenie instrukcji od ludzi i maszyn.
• bloomz.cpp : Wnioskowanie modeli podobnych do BLOOM HuggingFace w czystym C/C++ zbudowanych na niesamowitym llama.cpp.
• BLOOM-LoRA : strojenie instrukcji LLaMA niskiej rangi.
• RWKV-LM : RWKV to RNN z wydajnością LLM na poziomie transformatora. Można go trenować bezpośrednio, jak GPT (równoległy). Łączy więc to, co najlepsze w RNN i transformatorze — doskonałą wydajność, szybkie wnioskowanie, oszczędność pamięci VRAM, szybkie szkolenie, „nieskończone” ctx_len i bezpłatne osadzanie zdań.
• smolrsrwkv : Bardzo prosty przykład podejścia RWKV do modeli językowych napisanych w Rust przez kogoś, kto w zasadzie nie wie nic o matematyce lub sieciach neuronowych.
• gpt4all-lora : chatbot przeszkolony w zakresie ogromnego zbioru czystych danych asystenta, w tym kodu, historii i dialogów.
• Lit-LLaMA : Niezależna implementacja LLaMA, która jest w pełni open source na licencji Apache 2.0. Ta implementacja opiera się na nanoGPT.// The finetuning requires a GPU with 40 GB memory (A100). Coming soon: LoRA + quantization for training on a consumer-grade GPU!
• rwkv.cpp : port BlinkDL/RWKV-LM do ggerganov/ggml. Ostatecznym celem jest umożliwienie 4-bitowego kwantyzowanego wnioskowania na temat procesora.// WIP
• LLaMA-Adapter : LLaMA-Adapter: Efektywne dostrajanie modeli językowych z uwagą zerową. Wykorzystując 52 000 samouczków demonstracyjnych, LLaMA-Adapter wprowadza jedynie 1,2 mln parametrów możliwych do nauczenia na zamrożonym modelu LLaMA 7B.// 1 hour for fine-tuning on 8 A100 GPUs.
• Vicuna : Chatbot typu open source, który imponuje GPT-4 dzięki 90% jakości ChatGPT.
• koala : chatbot wyszkolony przez dostrajanie LLaMA Meta na podstawie danych dialogowych zebranych z sieci.

• langchain : Tworzenie aplikacji za pomocą LLM dzięki komponowalności.
• langchainjs : langchain w js.
• langchain-alpaca : Uruchom alpaca LLM w pełni lokalnie w langchain.
• whisper.cpp : Wysokowydajne wnioskowanie modelu automatycznego rozpoznawania mowy (ASR) OpenAI Whisper.
• szept mały : Whisper to wstępnie wyszkolony model automatycznego rozpoznawania mowy (ASR) i tłumaczenia mowy. Wytrenowane na 680 000 godzin oznakowanych danych modele Whisper wykazują dużą zdolność do uogólniania na wiele zestawów danych i domen bez potrzeby dostrajania.
• rozmowa : rozmawiaj ze sztuczną inteligencją w swoim terminalu.
• chatgpt-retrieval-plugin : Wtyczka ChatGPT Retrieval umożliwia łatwe wyszukiwanie i znajdowanie dokumentów osobistych lub służbowych poprzez zadawanie pytań w języku potocznym.
• llama-retrieval-plugin : Skrypt wtyczki pobierania LLaMa przy użyciu wtyczki pobierania OpenAI
• llm-chain : szablony monitów i łączenie monitów w wieloetapowe łańcuchy, streszczanie długich tekstów lub wykonywanie zaawansowanych zadań przetwarzania danych.
• płatki : Uruchom w domu ponad 100B modeli językowych, w stylu BitTorrent. Precyzyjne dostrajanie i wnioskowanie do 10 razy szybsze niż odciążanie.

• Raven-RWKV-7B : 7B, Raven to RWKV 7B w 100% RNN RWKV-LM dostrojony do wykonywania instrukcji.
• ChatRWKV-gradio : 14B, RWKV-4-Pile-14B-20230313-ctx8192-test1050
• Code Alpaca : 13B, Modele Code Alpaca są dostrojone z modelu 7B i 13B LLaMA na 20 000 instrukcji-podążających za danymi generowanych technikami w dokumencie Self-Instruct [1], z pewnymi modyfikacjami, które omówimy w następnej sekcji . Oceny są nadal do zrobienia.
• Alpaca-LoRA-Serve : 7B, Instrukcja dopracowana wersja LLaMA od Meta AI. Alpaca-LoRA to Low-Rank LLaMA Instruct-Tuning, zainspirowany projektem Stanford Alpaca. Ta aplikacja demonstracyjna działa obecnie w wersji 7B na instancji T4.
• LLaMA-Adapter : 7B+ 1.2MOficjalne demo LLaMA-Adapter: Efektywne dostrajanie modeli językowych z uwagą zerową.
• Alpaca-LoRA Playground : 30B, Alpaca-LoRA, która jest dopracowaną instrukcją LLaMA. To demo obecnie działa w wersji 30B na instancji 3*A6000 na Jarvislabs.ai.
• Koala : 13Bchatbot dostrojony przez LLaMA do konwersacji udostępnianych przez użytkowników i zestawów danych open source. Ten działa podobnie do Vicuna.