Estado do LLaMA 2023/T1

Aqui está um mapa mental para AI/ML ChatGPT (e Rust ) relacionado ao estado atual (e contando) para meu próprio uso.

• llama : modelos de linguagem de fundação abertos e eficientes.
• LLaMA_MPS : Execute a inferência LLaMA (e Stanford-Alpaca) em GPUs Apple Silicon.
• llama.cpp : Inferência do modelo LLaMA em C/C++ puro.
• alpaca.cpp : combina o modelo básico LLaMA com uma reprodução aberta do Stanford Alpaca, um ajuste fino do modelo básico para obedecer às instruções (semelhante ao RLHF usado para treinar o ChatGPT) e um conjunto de modificações no llama.cpp para adicionar uma interface de bate-papo.
• llama-rs : Faça a coisa LLaMA, mas agora em Rust
• alpaca : Stanford Alpaca: um modelo LLaMA que segue instruções
• codealpaca : um modelo LLaMA de acompanhamento de instruções treinado em instruções de geração de código.
• alpaca-lora : Instruct-Tuning LLaMA de baixo escalão// train 1hr/RTX 4090
• llama-node : biblioteca cliente Node.js para llama LLM construída sobre llama-rs. Ele usa napi-rscomo Node.js e comunicações nativas.
• RLLaMA : Rust+OpenCL+AVX2 implementação do código de inferência LLaMA.
• Dolly : ajusta o modelo GPT-J 6B no conjunto de dados Alpaca usando um notebook Databricks.
• Flan-Alpaca : ajuste de instrução de humanos e máquinas.
• bloomz.cpp : Inferência de modelos do tipo BLOOM do HuggingFace em C/C++ puro construído sobre o incrível llama.cpp.
• BLOOM-LoRA : Instruct-Tuning LLaMA de baixo escalão.
• RWKV-LM : RWKV é um RNN com desempenho LLM no nível do transformador. Pode ser treinado diretamente como um GPT (paralelizável). Portanto, está combinando o melhor de RNN e transformador — ótimo desempenho, inferência rápida, salva VRAM, treinamento rápido, ctx_len “infinito” e incorporação de sentença livre.
• smolrsrwkv : Um exemplo muito básico da abordagem RWKV para modelos de linguagem escritos em Rust por alguém que não sabe basicamente nada sobre matemática ou redes neurais.
• gpt4all-lora : um chatbot treinado em uma enorme coleção de dados limpos do assistente, incluindo código, histórias e diálogos.
• Lit-LLaMA : Implementação independente do LLaMA que é totalmente open source sob a licença Apache 2.0. Esta implementação baseia-se no nanoGPT.// The finetuning requires a GPU with 40 GB memory (A100). Coming soon: LoRA + quantization for training on a consumer-grade GPU!
• rwkv.cpp : uma porta de BlinkDL/RWKV-LM para ggerganov/ggml. O objetivo final é permitir inferência quantizada de 4 bits na CPU.// WIP
• LLaMA-Adapter : LLaMA-Adapter: ajuste fino eficiente de modelos de linguagem com atenção de inicialização zero. Usando demonstrações de autoinstrução de 52K, o LLaMA-Adapter introduz apenas 1,2M de parâmetros que podem ser aprendidos no modelo LLaMA 7B congelado.// 1 hour for fine-tuning on 8 A100 GPUs.
• vicunha : um Chatbot de código aberto que impressiona o GPT-4 com 90% de qualidade do ChatGPT.
• coala : um chatbot treinado pelo ajuste fino do LLaMA do Meta em dados de diálogo coletados da web.

• langchain : Construindo aplicativos com LLMs por meio de composição.
• langchainjs : langchain em js.
• langchain-alpaca : execute alpaca LLM totalmente localmente em langchain.
• sussurro.cpp : Inferência de alto desempenho do modelo de reconhecimento automático de fala (ASR) Whisper da OpenAI.
• sussurro-pequeno : Whisper é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Treinados em 680 mil horas de dados rotulados, os modelos Whisper demonstram uma forte capacidade de generalizar para muitos conjuntos de dados e domínios sem a necessidade de ajuste fino.
• talk : Fale com Inteligência Artificial em seu terminal.
• chatgpt-retrieval-plugin : O plug-in de recuperação ChatGPT permite que você pesquise e encontre facilmente documentos pessoais ou de trabalho fazendo perguntas em linguagem cotidiana.
• llama-retrieval-plugin : Script de plug-in de recuperação LLaMa usando o plug-in de recuperação do OpenAI
• llm-chain : modelos de prompt e encadeamento de prompts em cadeias de várias etapas, resumindo textos longos ou executando tarefas avançadas de processamento de dados.
• pétalas : execute modelos de idioma 100B+ em casa, estilo BitTorrent. Ajuste fino e inferência até 10x mais rápido do que o descarregamento.

• Raven-RWKV-7B : 7B, Raven é RWKV 7B 100% RNN RWKV-LM ajustado para seguir as instruções.
• ChatRWKV-gradio : 14B, RWKV-4-Pile-14B-20230313-ctx8192-test1050
• Code Alpaca : 13B, Os modelos do Code Alpaca são ajustados a partir de um modelo 7B e 13B LLaMA em dados de instrução de 20K gerados pelas técnicas no documento Self-Instruct [1], com algumas modificações que discutimos na próxima seção . Evals ainda são um todo.
• Alpaca-LoRA-Serve : 7B, Versão aprimorada de instrução do LLaMA da Meta AI. Alpaca-LoRA é um LLaMA Instruct-Tuning de baixo escalão, inspirado no projeto Stanford Alpaca. Este aplicativo de demonstração atualmente executa a versão 7B em uma instância T4.
• LLaMA-Adapter : 7B+ 1.2M, A demonstração oficial do LLaMA-Adapter: ajuste fino eficiente de modelos de linguagem com atenção de inicialização zero.
• Playground Alpaca-LoRA : 30B, Alpaca-LoRA, que é uma versão aprimorada de instrução do LLaMA. Esta demonstração atualmente executa a versão 30B em uma instância 3*A6000 em Jarvislabs.ai.
• Koala : 13Bum chatbot ajustado do LLaMA em conversas compartilhadas por usuários e conjuntos de dados de código aberto. Este executa de forma semelhante à Vicunha.