Visual ChatGPT : combiner la conversation avec des éléments visuels

Mar 12 2023
Les chercheurs de Microsoft ont dévoilé Visual ChatGPT, une extension open-source qui relie un système de dialogue IA à divers modèles Visual Foundation, permettant l'échange d'images. Actuellement, ChatGPT est incapable de générer ou de manipuler des images ; il ne peut que les décrire, qui peuvent ensuite être utilisés avec des outils comme Stable Diffusion, DALL-E ou Midjourney.

Les chercheurs de Microsoft ont dévoilé Visual ChatGPT, une extension open source qui relie un système de dialogue IA à divers modèles Visual Foundation, permettant l'échange d'images.

Démo : Visual ChatGPT | GithubGenericName

Actuellement, ChatGPT est incapable de générer ou de manipuler des images ; il ne peut que les décrire, qui peuvent ensuite être utilisés avec des outils comme Stable Diffusion, DALL-E ou Midjourney. Mais avec le projet Visual ChatGPT, le système d'IA acquiert la capacité de produire des images, d'apporter des modifications, de supprimer des objets et d'effectuer d'autres tâches similaires.

Architecture système | Chat visuelGPT

Visual ChatGPT permet :

  1. envoyer et recevoir non seulement des langues mais aussi des images ;
  2. fournir des questions visuelles complexes ou des instructions d'édition visuelle qui nécessitent la collaboration de plusieurs modèles d'IA en plusieurs étapes ;
  3. fournir des commentaires et demander des résultats corrigés.

Lire l'article Visual ChatGPT : parler, dessiner et éditer avec des modèles Visual Foundation

En savoir plus sur GPT :https://twitter.com/BeingOvee/status/1634211136836079618

— — — — — — — — — — — — —

Retrouvez-moi sur : Twitter | Linkedin | Instagram | Facebook | Pinterest