ЧатGPT

ChatGPT от OpenAI поджег Интернет! Я никогда не видел столько постов об ИИ — мои каналы Twitter и LinkedIn полностью забиты. На самом деле, я только что прочитал, что 1 миллион человек воспользовался им всего за 5 дней.

Честно говоря, ChatGPT, вероятно, является первым в мире хорошим чат-ботом общего назначения с искусственным интеллектом, с которым может играть каждый. Реакции были предсказуемы — «вау», «начало конца», «люди обречены» — вот лишь несколько неожиданных реакций, которые я слышал от друзей.

Но я был здесь раньше. Я был европейским техническим директором IBM Watson в первые дни, когда мы пытались коммерциализировать Jeopardy! технологии. Итак, с таким опытом, что я думаю?

Я должен отметить, что когда я говорю о Watson в этом посте, я имею в виду технологию, разработанную специально для Jeopardy! показывать. Впоследствии IBM разработала ряд несвязанных друг с другом продуктов под брендом Watson, разумно используя свой опыт и эффективный брендинг, а не саму оригинальную технологию. Мои ссылки на Watson относятся конкретно к оригинальной игре Jeopardy! технологии, а не продукты марки Watson, которые IBM предлагает сегодня.

Технически ChatGPT и Watson очень разные. ChatGPT — это большая языковая модель (LLM), построенная с использованием модели OpenAI davinvi-003, которая является частью серии моделей GPT3.5. Модели GPT3.5 являются одними из самых больших и сложных LLM, доступных в настоящее время. Напротив, первоначальный Watson, выигравший игровое шоу, представлял собой конвейер различных алгоритмов, ни один из которых нельзя было описать как LLM. Watson выиграла Jeopardy еще в 2011 году — более десяти лет назад и в то время, когда фраза «большие языковые модели» еще даже не была придумана. Поэтому неудивительно, что Watson и ChatGPT различаются технологически — десятилетие для технологий — это большой срок.

Помимо технологических различий, как бывший сотрудник Watsoner, я вижу в ChatGPT три важных момента.

Открытая доступность

Во-первых, тот факт, что OpenAI бесплатно выпустил ChatGPT, чтобы каждый мог с ним повозиться, демонстрирует уверенность в своих возможностях. Просто взгляните на дикие разговоры, которые люди ведут с ним на этом мэшап-сайте. Разнообразие необыкновенное — я никогда не видел ничего подобного. И он работает очень хорошо — люди в восторге, потому что он часто превосходит их ожидания, а это уже нечто.

Сделать ChatGPT бесплатным для всех и каждого было смелым решением, и оно сработает только в том случае, если будет действительно впечатляющим. Сравните прием с Meta's Galactica . Galactica подверглась резкой критике , и демоверсия просуществовала всего три дня, прежде чем ее удалили.

Склонность «Галактики» изобретать научную информацию вызывала серьезные опасения, и, несмотря на ее достоинства, ее восприняли почти повсеместно отрицательно. Напротив, очевидно, что OpenAI добился больших успехов с ChatGPT. Это не совсем безупречно, но я чувствую, что в него вложены значительные мысли.

Возвращаясь к Watson, The Jeopardy! машина никогда не была обнародована отчасти потому, что она была разработана специально для странных вопросов, заданных в Jeopardy! показывать. Мы знали, что широкая публика будет задавать самые разные вопросы и быстро находить недостатки. Эти выигрышные ИИ очень редко выпускаются для публики. Будь то DeepMind с Go, Meta с победившим в Diplomacy Cicero, Watson, DeepBlue с Chess — ни одна из этих систем не была выпущена для публичной доработки или критики. Это отличает ChatGPT от любого из этих предполагаемых прорывов.

Масштабируемость

Тот факт, что с ChatGPT играет достаточное количество людей, чтобы завалить мои графики в Twitter и LinkedIn, говорит нам о том, что он должен хорошо масштабироваться. На него поступает много запросов.

В большинстве случаев прорывы в области ИИ не могут масштабироваться для большого количества пользователей. Они достигают своих прорывов частично за счет применения огромного количества вычислительной мощности к одному пользователю. Если кто-то дает вам целый центр обработки данных для создания системы, это здорово. Но если для ответа на один вопрос или одного хода на игровом поле требуется целый центр обработки данных, это не только серьезная проблема масштабируемости, но и серьезное препятствие для коммерциализации. Создание машины, способной победить в игре одного человека, совсем не то же самое, что создание машины, способной победить миллион человек.

То, что буквально миллионы людей по всему миру играют с ChatGPT, доказывает, что для ответа на один вопрос не требуется целый центр обработки данных. Учитывая это, технология вполне может быть коммерциализирована — большой барьер масштабируемости и экономической жизнеспособности уже должен быть преодолен.

Гибкость

Оригинальный Watson был создан для одной и только одной цели — играть в Jeopardy! То же самое можно сказать и о победной машине Deep Mind, и о множестве других игровых систем с искусственным интеллектом, которые на протяжении многих лет попадали в заголовки газет.

Эти системы достигают величия, решая очень специфическую проблему, и обычно их нелегко или вообще нельзя применить к другим областям. Поверьте мне, тем из нас, кому было поручено получить Watson Jeopardy! технологии, позволяющие делать другие вещи, имеют боевые шрамы, которые демонстрируют, насколько это может быть сложно.

Для сравнения, люди используют ChatGPT, чтобы отвечать на общие вопросы, писать стихи, создавать заявления о приеме на работу, рассказывать анекдоты, писать и объяснять программный код и множество других случайных вещей . И все это он делает впечатляюще хорошо и без дополнительных усилий по обучению. В отличие от предыдущих попыток ИИ, ChatGPT, кажется, хорош во многих вещах прямо из коробки. Конечно, как только я это скажу, кто-нибудь покажет мне, в чем он плох. Но в целом я стою на своем — во многих вещах он впечатляюще хорош.

Итак, три причины, почему ChatGPT — это впечатляющее усилие — открытость, масштабируемость и гибкость. Но я также хотел бы прокомментировать несколько других важных аспектов того, что я вижу в ChatGPT.

Создание вещей

Несмотря на свои впечатляющие возможности, ChatGPT все еще иногда имеет тенденцию придумывать вещи. Большую часть времени кажется, что он избегает этого, но иногда он отклоняется и изобретает свою собственную реальность. Скажем так, проверку на полиграфе вряд ли пройдет.

К их чести, OpenAI свободно принимает эту проблему.

«ChatGPT иногда пишет правдоподобно звучащие, но неправильные или бессмысленные ответы… ChatGPT чувствителен к изменениям фразировки ввода или повторным попыткам ввести одно и то же приглашение. Например, при одной формулировке вопроса модель может утверждать, что не знает ответа, но при небольшой перефразировке может ответить правильно».https://openai.com/blog/chatgpt/

Когда я впервые возился с GPT-3 (на котором построен ChatGPT), я обнаружил, что склонность модели к усложнению вещей является серьезным препятствием. Я знаю очень мало реальных бизнес-сценариев, в которых «выдумывание» не считалось бы серьезным риском для бренда. ChatGPT кажется намного лучше, возможно, отчасти потому, что он основан на модели davinci-003, обновленной версии оригинального davinci-002. Но он не безупречен, и если важна полная фактологическая точность, этот вопрос станет барьером для принятия.

Предвзятость

Основная проблема с большими языковыми моделями — это неотъемлемые предубеждения, существующие в обучающей выборке. Этого трудно избежать, учитывая, что LLM обучаются на массовых данных из Интернета, которые практически всегда будут включать примеры всех известных человеческих пороков и предубеждений.

Опять же, OpenAI оправдывает наши ожидания.

«Хотя мы приложили усилия, чтобы заставить модель отказываться от неуместных запросов, иногда она будет реагировать на вредные инструкции или проявлять предвзятое поведение. Мы используем API модерации, чтобы предупреждать или блокировать определенные типы небезопасного контента, но мы ожидаем, что на данный момент он будет иметь некоторые ложные отрицательные и положительные результаты. Мы стремимся собирать отзывы пользователей, чтобы помочь в нашей текущей работе по улучшению этой системы».https://openai.com/blog/chatgpt/

По моему личному опыту, ChatGPT достойно избегает предвзятости и часто отказывается отвечать на вопросы, направленные на подстрекательство к плохому поведению. Но если пользователь настроен решительно, можно заставить его говорить довольно глупые вещи. Это хорошо, но не на 100% идеально.

Просто взгляните на это видео:

Да, расовые и гендерные предубеждения выставлены на всеобщее обозрение, учитывая творческую провокацию (в данном случае маскировку расистских/сексистских намерений под программный вызов, а затем повторное задавание одного и того же вопроса).

Мой собственный опыт заключался в том, чтобы попросить его рассказать мне сказку на ночь. В ответ я получил рассказ о светловолосой голубоглазой принцессе. Немного клише, поэтому я бросил вызов этому.

Это на самом деле очень хорошо. Трудно убедить LLM всегда говорить правильные вещи, но OpenAI, похоже, старается. Но проблема остается — хотя большинство людей не будут испытывать уклончивых ответов, их можно спровоцировать, если вы полны решимости.

Устранение предвзятости и поддержание LLM на правильном пути остается незавершенным. Но я считаю, что ChatGPT в целом намного лучше, чем предыдущие попытки. Но, тем не менее, создание чат-бота для бизнеса с использованием ChatGPT сопряжено с некоторыми рисками повторения бренда, скажем так.

Для чего ChatGPT?

Как только я преодолел свое первоначальное волнение по поводу ChatGPT, я начал задаваться вопросом, какая польза от такой системы. В конце концов, общие знания впечатляют, но, кроме Siri-v2, не сразу понятно, как их можно использовать.

Компьютер с общими знаниями, который не желает высказывать свое мнение ни о чем, но готов болтать обо всем. Хм…

Может быть, в научно-фантастическом фильме THX 1138 есть роль, где жители подземного мира в состоянии стресса удалялись в «кабинки для исповеди» и начинали разговор с компьютером с ликом Иисуса, который утверждал, что он «ОММ». Это могло бы сделать это.

Извините, это было немного легкомысленно. Для чего еще его можно использовать?

Общаться с универсалом весело, но большинство действительно полезных вещей требуют специальных знаний. Если вы общаетесь с банком, вам нужно, чтобы чат-бот знал все о вашей учетной записи, продуктах банка, правилах финансов и т. д. — о вещах, о которых ChatGPT знает мало, если вообще знает. То же самое верно для большинства, если не для всех доменов. Это означает, что для истинной полезности мы должны иметь возможность обучать ChatGPT новым вещам. И, возможно, даже запретить ему болтать о вещах, не относящихся к теме. В конце концов, немного странно, если чат-бот вашего банка говорит о смысле жизни, не так ли?

Как мы сможем обучать ChatGPT?

Что касается LLM, как правило, существует два типа обучения — то, что я буду называть «базовым» обучением, а затем «тонкой настройкой».

OpenAI уже провел базовое обучение ChatGPT, и я думаю, что они проделали очень хорошую работу. Но мы почти наверняка не сможем изменить это базовое обучение — для этого требуется чрезвычайно затратный по вычислительным ресурсам процесс, который, вероятно, съест сотни тысяч фунтов вычислительных ресурсов. Даже если бы мы могли, очень, очень немногие из нас могли бы себе это позволить.

Так что остается нам заняться тонкой настройкой. Но насколько это будет эффективно на новых доменах? Насколько легко это будет выполнять? Сколько это будет стоить? Какие инструменты предоставит OpenAI? Сегодня мы можем только догадываться об ответах. Я полон надежд, но нет уверенности в том, как и можно ли обучить ChatGPT для эффективной работы в качестве специалиста в различных областях.

Сила открытого сообщества

ChatGPT великолепен, но в настоящее время он закрыт проприетарным веб-интерфейсом OpenAI. Я могу только представить, что люди будут делать с ним, когда он станет открытым, с подключаемыми API.

Или, может быть, мы уже можем увидеть мельком. Вдохновленный вирусной шумихой, @mmabrouk_ собрал оболочку Python , а за ним быстро последовал @_wheels, создавший голосовой интерфейс Whisper . Итак, мы уже можем общаться в чате (то есть говорить вслух) с ChatGPT.

Подход OpenAI также немного отличается от многих подходов в индустрии машинного обучения, где распространен открытый выпуск самих моделей. OpenAI обычно не выпускает свои модели GPT, вместо этого выбирая их размещение и предоставляя доступ через API.

Для тех, кто любит возиться с гиперпараметрами и понимать базовый код, это проблема. Лично я просто вижу в этом другой подход — со своими плюсами и минусами. Открытые модели/код или размещенные API — оба варианта могут работать. Но что важно, так это то, что доступ открыт, потому что именно отсюда будут поступать инновации. Сумасшедшие люди с безумными идеями нуждаются в чем-то, на чем они могут основываться.

Как что-нибудь еще сравнить?

Я сталкиваюсь с чат-ботами уже около десяти лет. Этого достаточно, чтобы понять, что все хотят того, что невозможно с сегодняшними технологиями — что-то вроде разговора с научно-фантастическим роботом.

Проблема, которую представляет ChatGPT, заключается в том, что он во многих отношениях очень близок к этому видению. Конечно, как инструмент для игры со словами, ему нет равных. И трудно не почувствовать головокружение при разговоре с ним — каждый раз, когда я им пользуюсь, он впечатляет по-новому. Но это просто маленький мальчик во мне выходит? Тот самый маленький мальчик, который был поражен Элизой на своем Commodore 64 еще в 80-х. У ИИ длинная история ложных рассветов, и хотя Элиза в то время произвела на меня впечатление, она не является основой сегодняшнего ИИ.

С ChatGPT мы все изменили наши ожидания относительно того, каким может быть чат-бот. Результаты этого будут интересными. Любой, кто попытается конкурировать на одном и том же «у нас отличная площадка для ИИ», скорее всего, столкнется с трудностями.

Это точно ИИ?

И последний момент, на котором я хотел бы закончить, — это сравнение ChatGPT с нашим собственным мозгом. В конце концов, если мы стремимся создать искусственный интеллект, это неплохой компаратор.

Ян Богост утверждает , что ChatGPT — это игрушка и что на самом деле он ничего не понимает так, как мы. Он жалуется, что это просто извергает слова и не понимает, что эти слова означают. Как оказалось, первая часть его статьи в Atlantic была сгенерирована ChatGPT.

Конечно, Ян прав — любой, кто разбирается в LLM, знает, что они «не понимают». И все же… как мы «понимаем»? Разве наш мозг не просто, по крайней мере частично, гигантская машина для сопоставления с образцом? Может быть, «понимание» — это просто лучшее сопоставление с образцом? Когда мы «учимся чему-то», разве мы не просто создаем шаблоны для нашего мозга, чтобы потом сопоставить их?

Возможно, нам следует меньше думать о себе как о людях и больше о животных с более простым мозгом — насекомых, ящерицах, мышах. Сопоставление с образцом кажется хорошим описанием поведения таких животных. Я часто смеюсь над своими кошками, потому что они так влюблены в рутину — однажды сядьте в какое-нибудь место, чтобы вздремнуть, и если это сработает, они будут сидеть там каждый день до вечности. Это похоже на совпадение с образцом для меня.

Но также кажется, что с животными более высокого порядка, такими как люди, происходит немного больше. Саймон Синек известен своей аналогией с «золотым кругом» . Он сравнивает свою модель со структурами мозга — неокортексом, контролирующим рациональное мышление, и лимбическим мозгом, отвечающим за более инстинктивные реакции. Я действительно задаюсь вопросом, достигаем ли мы, возможно, точки, когда у нас есть некоторое приближение к лимбическому мозгу с помощью таких вещей, как ChatGPT, но еще не дополнено искусственным неокортексом — чем-то, что дополняет сопоставление образов с рациональным мышлением. Или, может быть, наш мозг больше полагается на сопоставление с образцом, чем мы готовы признать. Если бы это было так, возможно, нам просто нужны еще большие языковые модели (ELLM)?