Visual ChatGPT: combinando fala com elementos visuais

Mar 12 2023
Pesquisadores da Microsoft revelaram o Visual ChatGPT, uma extensão de código aberto que vincula um sistema de diálogo de IA a vários Modelos de Fundação Visual, permitindo a troca de imagens. Atualmente, o ChatGPT é incapaz de gerar ou manipular imagens; ele pode apenas descrevê-los, que podem então ser usados ​​com ferramentas como Stable Diffusion, DALL-E ou Midjourney.

Pesquisadores da Microsoft revelaram o Visual ChatGPT, uma extensão de código aberto que vincula um sistema de diálogo de IA a vários Modelos de Fundação Visual, permitindo a troca de imagens.

Demonstração: Visual ChatGPT | GithubGenericName

Atualmente, o ChatGPT é incapaz de gerar ou manipular imagens; ele pode apenas descrevê-los, que podem então ser usados ​​com ferramentas como Stable Diffusion, DALL-E ou Midjourney. Mas com o projeto Visual ChatGPT, o sistema de IA ganha a capacidade de produzir imagens, fazer edições, remover objetos e realizar outras tarefas semelhantes.

Arquitetura do sistema | Visual ChatGPT

Visual ChatGPT permite:

  1. enviar e receber não apenas idiomas, mas também imagens;
  2. fornecer questões visuais complexas ou instruções de edição visual que exijam a colaboração de vários modelos de IA com várias etapas;
  3. fornecer feedback e solicitar resultados corrigidos.

Leia o artigo Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

Saiba mais sobre o GPT:https://twitter.com/BeingOvee/status/1634211136836079618

— — — — — — — — — — — — —

Encontre-me em: Twitter | Linkedin | Instagram | Facebook | pinterest