Status LLaMA 2023/Q1

Berikut peta pikiran untuk AI/ML ChatGPT (dan Rust ) terkait dengan kondisi saat ini (dan terus bertambah) untuk saya gunakan sendiri.

• llama : Model Bahasa Dasar yang Terbuka dan Efisien.
• LLaMA_MPS : Jalankan inferensi LLaMA (dan Stanford-Alpaca) pada GPU Apple Silicon.
• llama.cpp : Inferensi model LLaMA dalam C/C++ murni.
• alpaca.cpp : Ini menggabungkan model fondasi LLaMA dengan reproduksi terbuka Stanford Alpaca, penyempurnaan model dasar untuk mematuhi instruksi (mirip dengan RLHF yang digunakan untuk melatih ChatGPT) dan serangkaian modifikasi pada llama.cpp untuk ditambahkan antarmuka obrolan.
• llama-rs : Lakukan hal LLaMA, tapi sekarang di Rust
• alpaca : Stanford Alpaca: Model LLaMA yang Mengikuti Instruksi
• codealpaca : Model LLaMA yang mengikuti Instruksi yang dilatih tentang instruksi pembuatan kode.
• alpaca-lora : Penyetelan Instruksi LLaMA Peringkat Rendah// train 1hr/RTX 4090
• llama-node : Pustaka klien Node.js untuk llama LLM yang dibangun di atas llama-rs. Ini digunakan napi-rssebagai Node.js dan komunikasi asli.
• RLLaMA : Implementasi Rust+OpenCL+AVX2 dari kode inferensi LLaMA.
• Dolly : Ini menyempurnakan model GPT-J 6B pada dataset Alpaca menggunakan notebook Databricks.
• Flan-Alpaca : Penyetelan Instruksi dari Manusia dan Mesin.
• bloomz.cpp : Inferensi model mirip BLOOM HuggingFace dalam C/C++ murni dibangun di atas yang menakjubkan llama.cpp.
• BLOOM-LoRA : Penyetelan Instruksi LLaMA Peringkat Rendah.
• RWKV-LM : RWKV adalah RNN dengan performa LLM level transformer. Itu bisa langsung dilatih seperti GPT (dapat diparalelkan). Jadi itu menggabungkan yang terbaik dari RNN dan transformator — kinerja hebat, inferensi cepat, menghemat VRAM, pelatihan cepat, ctx_len "tak terbatas", dan penyisipan kalimat gratis.
• smolrsrwkv : Contoh paling mendasar dari pendekatan RWKV untuk model bahasa yang ditulis dalam Rust oleh seseorang yang pada dasarnya tidak tahu apa-apa tentang matematika atau jaringan saraf.
• gpt4all-lora : Sebuah chatbot yang terlatih dalam kumpulan besar data asisten bersih termasuk kode, cerita, dan dialog.
• Lit-LLaMA : Implementasi LLaMA independen yang sepenuhnya open source di bawah lisensi Apache 2.0. Implementasi ini dibangun di atas nanoGPT.// The finetuning requires a GPU with 40 GB memory (A100). Coming soon: LoRA + quantization for training on a consumer-grade GPU!
• rwkv.cpp : port BlinkDL/RWKV-LM ke ggerganov/ggml. Tujuan akhirnya adalah untuk memungkinkan inferensi terkuantisasi 4-bit pada CPU.// WIP
• LLaMA-Adapter : LLaMA-Adapter: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Zero-init. Menggunakan demonstrasi instruksi mandiri 52K, LLaMA-Adapter hanya memperkenalkan 1,2 juta parameter yang dapat dipelajari pada model LLaMA 7B yang dibekukan.// 1 hour for fine-tuning on 8 A100 GPUs.
• vicuna : Chatbot Sumber Terbuka yang Mengesankan GPT-4 dengan Kualitas ChatGPT 90%.
• koala : chatbot yang dilatih oleh Meta's LLaMA yang menyempurnakan data dialog yang dikumpulkan dari web.

• langchain : Membangun aplikasi dengan LLM melalui kemampuan menyusun.
• langchainjs : langchain di js.
• langchain-alpaca : Jalankan alpaca LLM sepenuhnya secara lokal di langchain.
• whisper.cpp : Inferensi kinerja tinggi dari model pengenalan suara otomatis Whisper (ASR) OpenAI.
• bisikan-kecil : Bisikan adalah model terlatih untuk pengenalan ucapan otomatis (ASR) dan terjemahan ucapan. Dilatih dengan 680 ribu jam data berlabel, model Whisper menunjukkan kemampuan yang kuat untuk menggeneralisasi ke banyak set data dan domain tanpa perlu penyesuaian.
• bicara : Berbicara dengan Kecerdasan Buatan di terminal Anda.
• chatgpt-retrieval-plugin : Plugin Pengambilan ChatGPT memungkinkan Anda mencari dan menemukan dokumen pribadi atau dokumen kerja dengan mudah dengan mengajukan pertanyaan dalam bahasa sehari-hari.
• llama-retrieval-plugin : Skrip plugin pengambilan LLaMa menggunakan plugin pengambilan OpenAI
• llm-chain : template prompt dan merangkai bersama prompt dalam rantai multi-langkah, meringkas teks panjang atau melakukan tugas pemrosesan data tingkat lanjut.
• kelopak : Jalankan model bahasa 100B+ di rumah, gaya BitTorrent. Penyempurnaan dan inferensi hingga 10x lebih cepat daripada pembongkaran.

• Raven-RWKV-7B : 7B, Raven adalah RWKV 7B 100% RNN RWKV-LM disetel untuk mengikuti instruksi.
• ChatRWKV-gradio : 14B, RWKV-4-Pile-14B-20230313-ctx8192-test1050
• Code Alpaca : 13B, Model Code Alpaca di fine-tuned dari model LLaMA 7B dan 13B pada data 20K instruction-following yang dihasilkan oleh teknik pada makalah Self-Instruct [1], dengan beberapa modifikasi yang akan kita bahas pada bagian selanjutnya . Evaluasi masih todo.
• Alpaca-LoRA-Serve : 7B, Instruksi versi LLaMA yang disempurnakan dari Meta AI. Alpaca-LoRA adalah Low-Rank LLaMA Instruct-Tuning yang terinspirasi dari proyek Stanford Alpaca. Aplikasi demo ini saat ini menjalankan versi 7B pada instans T4.
• LLaMA-Adapter : 7B+ 1.2M, Demo resmi untuk LLaMA-Adapter: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Zero-init.
• Alpaca-LoRA Playground : 30B, Alpaca-LoRA yang merupakan versi LLaMA yang disetel dengan baik. Demo ini saat ini menjalankan versi 30B pada instans 3*A6000 di Jarvislabs.ai.
• Koala : 13Bchatbot yang disempurnakan dari LLaMA pada percakapan yang dibagikan pengguna dan kumpulan data sumber terbuka. Yang ini melakukan mirip dengan Vicuna.