Le langage des modifications

Imaginez décrire une tâche que votre ami doit effectuer. Il est peu probable qu'ils réussissent du premier coup. Souvent, des communications supplémentaires sont nécessaires pour modifier et améliorer ce qui se fait jusqu'à présent.

À Neurips 2022, j'ai mené une petite étude pour avoir une idée de ce qui suit :

Q1 : Quelle est la valeur du processus de modification ?

Q2 : Les langues de modification et de description sont-elles différentes ?

image de téléphone

J'ai choisi la tâche téléphone-pictogramme. Étant donné une image de départ, un groupe de personnes la décrit alternativement (en utilisant des mots), puis redessine l'image en fonction de la description.

Cela continue pendant plusieurs itérations. Comme vous pouvez le voir, le langage est descriptif et vise à ce que le tireur récupère l'image d'origine en 1 plan.

image de téléphone avec modifications

Et si nous permettions une étape supplémentaire de modification pour corriger certaines des erreurs ? Cela ressemble à ceci :

Idéalement, Personne1 et Personne3 sont la même personne — le « programmeur », et Personne2 et Personne4 sont la même personne — « l'interprète ». J'ai séparé ces personnes pour éviter d'avoir à jumeler un programmeur avec un interprète dans la même itération.

Toutes les données collectées peuvent être consultées sur ce site Web (certaines images peuvent ne pas se charger immédiatement, il suffit de cliquer sur les boutons pour forcer le rechargement).

Q1 : Quelle est l'importance du processus de modification ?

Voici comment l'image d'origine change au fil du temps en ne donnant que des descriptions

Comme vous pouvez le voir, nous nous sommes rapidement transformés en un rectangle et un cercle.

Voici avec les descriptions et les modifications

Comme on peut le voir, avec des modifications, on a pu retenir plus de détails, et on arrive à un dessin ressemblant à un nounours.

Nous concluons que le processus de modification est important.

Q2 : Les langues de description et de modification sont-elles différentes ?

Les langages de description et de modification sont-ils différents ? J'ai d'abord transcrit toutes les langues utilisées sous forme de texte .

Ensuite, nous pouvons utiliser l'apprentissage en quelques coups de gpt-3 pour voir s'il peut distinguer de manière fiable le langage descriptif du langage de modification. J'ai utilisé les textes des 2 premières générations comme invite, et évalué sur les 9 générations restantes.

Pour les descriptions, on obtient une identification correcte 9/9 fois. Pour les modifications, nous obtenons une identification correcte 7/9 fois.

Nous concluons que les langages de description et de modification sont différents.

Quelques remarques logistiques

Cette étude comprend environ 12 générations de 2 conditions, une sans modifications (2 participants) et une avec modifications (4 participants). (2+4)*12 ou environ 70 participants au total. Chaque point de données prend environ 4 minutes à collecter (1 minute d'explication de la tâche et 2 à 3 minutes d'attente pour qu'ils génèrent la réponse), pour un total d'environ 5 heures de temps. Ce billet de blog et le site Web interactif associé et l'étude gpt3 ont pris environ 10 heures, pour un total de 15 heures de travail.

Je suis content de pouvoir faire la collecte de données chez neurips, où la qualité des données est élevée, les annotateurs ont bien compris la tâche et je n'ai pas à créer un site Web et à l'héberger sur prolific.

Conclusion

La modification est précieuse - sans elle, notre dessin d'une personne se transforme en un rectangle et un cercle. Le langage de modification est différent de celui de la description - gpt3 peut distinguer de manière fiable l'un de l'autre.

Les modèles fondamentaux actuels tels que le clip et la diffusion stable sont formés à l'aide de données descriptives telles que les paires image-légende. Par conséquent, alors qu'ils peuvent générer des résultats impressionnants en une seule fois, il est difficile d'interagir davantage avec eux pour modifier et affiner la sortie actuelle.

Nous devrions collecter davantage d'ensembles de données de modifications, où le locuteur utilise le langage pour dire à l'auditeur comment modifier et améliorer une sortie existante. Il y a déjà plusieurs efforts dans cette direction, principalement dans le domaine des modifications de texte et de code, ce qui est un début prometteur.

— evan 2022–12–05

ps un grand merci à tous ceux qui ont participé à cette étude, il est atypique que quelqu'un vous approche lors d'une conférence et vous demande des dessins, mais vous avez été si gentil avec moi et vous l'avez supporté. ce blog est écrit pour vous.