Язык модификаций

Представьте , что вы описываете задачу, которую должен выполнить ваш друг. Вряд ли у них получится с первого раза. Часто необходимы дополнительные коммуникации, чтобы изменить и улучшить то, что делается до сих пор.

На Neurips 2022 я провел небольшое исследование, чтобы понять следующее:

Q1 : Насколько ценен процесс модификации?

Q2 : Отличаются ли языки модификации и описания?

телефон

Я выбрал телефонно-представленную задачу. Получив начальное изображение, группа людей поочередно описывает его (используя слова), а затем перерисовывает изображение на основе описания.

Это продолжается в течение нескольких итераций. Как видите, язык носит описательный характер и направлен на то, чтобы рисовальщик восстанавливал исходное изображение за один раз.

картинка телефона с модификациями

Что, если мы допустим дополнительный шаг модификации для исправления некоторых ошибок? Это выглядит примерно так:

В идеале Person1 и Person3 — это один и тот же человек — «программист», а Person2 и Person4 — один и тот же человек — «переводчик». Я выделил этих людей отдельно, чтобы избежать необходимости связывать программиста с интерпретатором в одной итерации.

Все собранные данные можно просмотреть на этом веб-сайте (некоторые изображения могут загружаться не сразу, просто нажмите кнопки, чтобы принудительно перезагрузить их).

Q1: Насколько важен процесс модификации?

Вот как исходное изображение меняется со временем, учитывая только описания

Как видите, мы быстро превратились в прямоугольник и круг.

Вот с описанием и модификациями

Как мы видим, с модификацией мы смогли сохранить больше деталей и получили рисунок, похожий на плюшевого мишку.

Делаем вывод, что процесс модификации важен.

Q2: Отличаются ли языки описания и модификации?

Отличаются ли языки описания и модификации? Сначала я перевел все используемые языки в текстовую форму .

Затем мы можем использовать изучение gpt-3 с несколькими выстрелами, чтобы увидеть, может ли он надежно отличить описательный язык от языка модификации. В качестве подсказки я использовал тексты первых 2 поколений, а оценивал оставшиеся 9 поколений.

Для описаний мы получаем правильную идентификацию 9/9 раз. Для модификаций мы получаем правильную идентификацию 7/9 раз.

Делаем вывод, что языки описания и модификации различны.

Несколько логистических замечаний

Это исследование состоит примерно из 12 поколений 2 состояний, одно без модификаций (2 участника) и одно с модификациями (4 участника). (2+4)*12 или примерно 70 участников всего. Для сбора каждой точки данных требуется примерно 4 минуты (1 минута объяснения задачи и 2–3 минуты ожидания получения ответа), в общей сложности примерно 5 часов времени. Этот пост в блоге и связанный с ним интерактивный веб-сайт и изучение gpt3 заняли около 10 часов, в общей сложности 15 часов работы.

Я рад, что мне удалось заняться сбором данных в неврипсах, где качество данных высокое, аннотаторы хорошо понимают задачу, и мне не нужно раскручивать сайт и размещать его на Prolific.

Заключение

Модификация ценная — без нее наш рисунок человека превращается просто в прямоугольник и круг. Язык модификации отличается от языка описания — gpt3 может надежно отличить одно от другого.

Текущие базовые модели, такие как клип и стабильное распространение, обучаются с использованием описательных данных, таких как пары изображение-заголовок. Следовательно, несмотря на то, что они могут мгновенно генерировать впечатляющие результаты, с ними сложно взаимодействовать для дальнейшего изменения и улучшения текущего результата.

Мы должны собирать больше наборов данных об изменениях, когда говорящий использует язык, чтобы рассказать слушателю, как изменить и улучшить существующий вывод. В этом направлении уже предпринимаются некоторые усилия, в основном в области редактирования текста и кода, что является многообещающим началом.

— Эван 2022–12–05

ps огромное спасибо всем, кто участвовал в этом исследовании, нетипично, чтобы кто-то подходил к вам на конференции и просил рисунки, но вы были так добры ко мне и смирились. этот блог написан для вас.