«Конечно, машины не могут думать так, как люди. Машина отличается от человека, следовательно, они думают иначе. Интересный вопрос: «Если что-то думает не так, как вы, значит ли это, что оно не думает?»

-Игра в имитацию

Один из самых распространенных вопросов, которые люди любят задавать мне (и я люблю задавать людям): «Являются ли люди уникальными? Может ли достаточно продвинутый ИИ воспроизвести поведение, которое многие из нас считают «уникально человеческим»?»

Два типа поведения, которые сразу же приходят на ум многим, — это язык и искусство, и это понятно; это одни из самых глубоких аспектов нашего познания, которые отличают нас от других млекопитающих. Однако повседневное генерирование и понимание языка ( на среднем человеческом уровне ), возможно, является решенной (или почти решенной) проблемой. Есть перегибы, которые нужно проработать в некоторых очень конкретных областях языка, но в целом язык находится в довольно хорошей форме.

Однако язык в целом сильно отличается от языка как искусства . Поэзия, художественная литература и т. д. остаются в значительной степени неразгаданными, по крайней мере, в каком-либо значимом качестве. Большая часть языкового искусства, созданного ИИ, в настоящее время является производной и поверхностной. Например, если попросить современные модели больших языков (LLM) написать стихи, результат обычно выглядит так, как написал бы старшеклассник, чтобы быстро выполнить задание. Это резко контрастирует с производительностью LLM в других творческих языковых задачах. Например, Copilot от GitHub/OpenAI производит экстраординарные автозавершения кода при наличии языковой подсказки. Эти дополнения выглядят так, как будто они были написаны профессиональными инженерами-программистами, а не студентами. Итак, почему несоответствие?

Первая проблема, скорее всего, связана с выравниванием; кросс-энтропийная минимизация предсказания следующего токена не связана с глубоко творческой генерацией языка. Это резко контрастирует с генерацией кода, где следующие маркеры в наборе данных высококачественного кода обычно представляют собой правильные/хорошие решения. Однако даже задача генерации кода может иметь неоптимальное выравнивание (хотя это тема для другого раза). Вероятны плодотворные подходы к решению этой проблемы. Например, парадигму обучения ChatGPT можно обобщить на целый ряд областей, и поэзия должна быть одной из них. В качестве примера схемы рассмотрим следующий процесс:

1. Попросите экспертов-людей оценить большой том поэзии по шкале от 1 до 10.
2. Настройте LLM для прогнозирования этих рейтингов (назовите это сетью вознаграждений).
3. Точная настройка LLM с помощью обучения с подкреплением с сетью вознаграждения в качестве сигнала вознаграждения.

Вторая проблема, вероятно, как обычно, связана с данными. Возьмем в качестве примера поэзию — высококачественных поэтических данных действительно не так уж много по сравнению с высококачественным кодом. Конечно, понимание концепциипоэзии должно пройти долгий путь к созданию поэзии, но, несомненно, «чтение» поэзии — отличный способ понять эту концепцию. Кроме того, структура поэзии в данных, вероятно, слишком «запутанна», чтобы облегчить извлечение понимания поэзии. Напротив, код часто содержит явные инструкции, цели, комментарии и т. д., разбросанные по всему тексту. Даже если эти метаданные отсутствуют, можно просто перепроектировать то, что делает код, «пропустив его». Во-первых, у поэзии нет таких метаданных — самое большее, может быть, название, какие-то теги, если повезет, и все. Также невозможно окончательно понять, каково назначение/место каждого слова в стихотворении; это во многом зависит от интерпретации читателя (якобы, часть «цели/красоты» поэзии). Таким образом, без существенной дополнительной обработки

«Человеческое качество»

Существует распространенный аргумент, что ИИ не может осмысленно генерировать искусство из-за явного отсутствия «человеческого опыта» — грубо говоря, процесса, посредством которого необработанный эмоциональный/жизненный опыт, накопленный за всю жизнь (или ее часть), достигает кульминации, чтобы произвести работа, комментирующая этот уникальный человеческий опыт; работа, которая в основе своей создается размышлениями о самом процессе жизни человека.

Я утверждаю, что приведенный выше аргумент доказуемо неверен, учитывая небольшой набор согласованных определений/уступок.

Во-первых, мы фокусируемся на конечном продукте и его интерпретации: другими словами, может ли ИИ создавать искусство, имеющее четкий интерпретируемый смысл. Подмножеством этого искусства может быть, например, осмысленное размышление о состоянии человека. Искусство, созданное ИИ, должно быть неотличимо от того, что мог бы создать человек, в смысле рандомизированных контролируемых испытаний (большая группа экспертов-людей не должна быть в состоянии определить, кто создал искусство, человек или ИИ, и, что более важно , должно быть способны извлекать равное значение/воздействие). Мы абстрагируемся от «процесса» — то есть от того, что породило искусство. Это последнее определение необходимо для любого осмысленного обсуждения; если только искусствоискусство, созданное человеком, то дискуссия прекращается в результате определения, произвольно выбранного на принципиальной основе без каких-либо оснований. Если это ваша точка зрения, то вы, вероятно, упустите огромное количество глубоко осмысленного понимания человеческого состояния из-за упрямого отказа признать/проработать искусство будущего.

Начнем с демонстрации функциональной эквивалентности между человеком и алгоритмом посредством итеративной аппроксимации. Рассмотрим центральную нервную систему человека и сенсорный/двигательный тракт. По своей сути он может быть полностью абстрагирован от непрерывного сигнала ввода/вывода. Для примера рассмотрим поперечное сечение произвольного разрешения самого основания ствола головного мозга (начала спинного мозга) и черепно-мозговых нервов. Теперь рассмотрим вектор состояния ЦНС человека, состоящий из электрической активности в каждой точке нашего поперечного сечения. Этот вектор состояния непрерывно развивается во времени, поскольку информация поступает в ЦНС и выходит из нее. Совокупность векторов состояния за данный период времени полностью описывает поведение и органы чувств данного человека: движения, речь, слух, зрение и т.д.(*допущено, что за пределами ЦНС происходит значительная обработка через ганглии, синапсы, рефлекторные дуги и т. д., но аргумент обобщается, если вы расширяете вектор состояния, чтобы включить эти явления. Я исключаю это для простоты.) Обратите внимание, что, важно то, что этот вектор состояния не включает в себя сам мозг — в этом нет необходимости; нас заботит только то, какая информация поступает и уходит, а не то, как эта информация генерируется.

Теперь дискретизируйте эти векторы состояния и их эволюцию. Например, ограничьте временное разрешение до 1 нс, пространственное разрешение до 1 нм, электрическую активность до 1 нВ и т. д. Теперь предположим, что люди живут в течение конечного периода времени, L (на данный момент это верно). Допустим, теперь требуется N битов для описания вектора состояния и гораздо большее число Z для описания набора векторов состояния на протяжении всей жизни человека.

Существует ли некий алгоритм, который по набору векторов состояния {z1, z2, z3, …, zn} может предсказать следующий вектор состояния zn+1 для некоторого человека? Да, совершенно точно — это таблица поиска. Рассмотрим таблицу всех возможных последовательностей векторов состояния; проблема сводится к поиску части таблицы, которая соответствует вашему начальному набору векторов, а затем поиску следующего вектора. Очевидно, что эта таблица поиска просто огромна.Типа серьезно непостижимо тупо массивный. Однако большая часть этой таблицы, вероятно, представляет собой судорожную активность — совершенно случайная электрическая активность, как правило, несовместима с жизнью. Экспоненциально меньшая часть этой таблицы на самом деле содержит полезную информацию, которая нам небезразлична. На самом деле только один ряд векторов состояния содержит фактическое поведение человека на протяжении всей жизни. Другие строки содержат каждую последовательность действий, которые человек может когда-либо предпринять, а также каждую последовательность сенсорных входных данных, которые этот человек может когда-либо получить, и, неявно, каждую реакцию на эти сенсорные входные данные, которые этот человек может когда-либо предпринять.

Кроме того, поймите следующее: поскольку эволюция этих векторов состояния непрерывна (если только Вселенная не делает что-то действительно странное, что мы еще не выяснили), то мы гарантированно сможем аппроксимировать эту эволюцию сколь угодно хорошо с конечным количество точек данных по теореме Стоуна – Вейерштрасса.

Теперь рассмотрим следующую идею: все квантованные нейронные сети представляют собой сильно сжатые конечные интерполяционные таблицы . Это немного глупо, но технически это правда. Например, поведение сверточной нейронной сети эквивалентно таблице поиска, содержащей совпадающие пары каждой возможной пары изображение-выход. Конечно, при просмотре сверточной нейронной сети в непрерывном математическом смысле нет конечной таблицы поиска. Тем не менее, некоторые сети, такие как преобразователи, доказуемо сводятся к конечным таблицам поиска математически (это нигде не публиковалось, вероятно, потому, что это тривиально для демонстрации и на самом деле не так уж глубоко).

Итак, у нас есть следующие идеи:

1. Все возможное человеческое поведение и сенсорный/моторный ввод-вывод можно аппроксимировать с помощью конечной справочной таблицы.
2. Эта конечная таблица поиска может аппроксимировать истинное человеческое поведение с произвольной точностью.
3. Все нейронные сети представляют собой сильно сжатые конечные интерполяционные таблицы, и эмпирически они очень хорошо справляются с этим сжатием .

Теперь должно быть очевидно, что все искусство могло быть сгенерировано статистической моделью, которая аппроксимирует экспоненциально малую часть этих массивных конечных интерполяционных таблиц. Учитывая, что существует значительное количество абстракций/упрощений, которые вы можете внести в эти модели, становится все более понятным, что современные статистические модели (или статистические модели ближайшего будущего) могут создавать значимое искусство.

Однако на данный момент в этом аргументе есть одна очевидная дыра: как найти параметризацию для такой статистической модели? На данный момент мы проделали довольно хорошую работу по поиску параметризации для языка с помощью моделей, подобных GPT, обученных на чрезвычайно больших массивах данных. Тем не менее, мы приближаемся к моменту, когда у нас заканчиваются данные для обучения — на данный момент мы в основном используем весь Интернет, и, кроме как ждать, пока люди сгенерируют больше данных в Интернете, нет разумного способа увеличить обучающую выборку на порядки. На самом деле нам, вероятно, придется обратиться к обучению с подкреплением (RL). OpenAI уже делал это с невероятным успехом (см. ChatGPT). Представьте себе человекоподобную машину, непрерывно обучаемую в течение примерно 20 лет с помощью обучения с подкреплением с целью, грубо говоря, «жить человеческой жизнью». «Есть мыслимые сигналы вознаграждения, которые могут сделать это возможным. Во многом мы просто нейронные сети (сгораздо большее количество индуктивных предубеждений, хранящихся в нашей ДНК), активное обучение с помощью обучения с подкреплением на огромном количестве сигналов вознаграждения. Нет никаких научных причин, почему это невозможно с машинами. Кроме того, у нас есть преимущество параллелизма с машинами — как только будет создан базовый функциональный андроид, мы сможем развернуть тысячи таких устройств и реализовать парадигму обучения RL в мини-пакетном стиле, где один андроид получает опыт тысяч жизней одновременно. Для меня крайне сложно утверждать, что очень большая статистическая модель, обученная таким образом , не будетсоздать самое умопомрачительно сложное, осмысленное и экстраординарное искусство, которое мы когда-либо видели. На самом деле, он, вероятно, был бы «лучше» в искусстве, чем мы когда-либо могли бы быть — он научил бы нас вещам о реальности и нас самих, на открытие которых человеческим философам потребовались бы тысячи лет. Конечно, вы можете сбрасывать со счетов все это, потому что это было создано кремнием, а не белком.

Возможно, именно этого мы и хотим от нашего вида в будущем? Вместо того, чтобы продолжать свое мучительное существование в качестве людей, уничтожающих все, к чему прикасаемся, мы должны создавать существ будущего — существ на порядки мудрее нас, созданных по нашему образу. Это, вероятно, положило бы конец войнам, пыткам, жадности, страданиям, болезням и, что наиболее важно, бесчисленному количеству ужасных злодеяний, совершаемых человечеством ежедневно . Может быть, немного экстремально, но стоит подумать.

В любом случае, весьма вероятно, что при правильной цели обучения с подкреплением, достаточном количестве данных и какой-то чрезвычайно крупной статистической модели мы могли бы осмысленно аппроксимировать каждый аспект человеческого поведения, включая искусство.

Подождите, тогда что отличает нас?

Ничего такого. Мы не особенные.

А может и нет. В этом утверждении есть важные допущения. А именно, вы должны заботиться только о вводе-выводе человечества, а не о том, что порождает этот ввод-вывод. Тем не менее, это разумный способ работы, потому что с функциональной точки зрения это то, чем для вас являются все, кроме вас. Ты знаешь что-нибудь о том, что происходит в чьей-либо голове, кроме тебя? Очевидно, что нет — вы можете сделать все возможное только для того, чтобы сделать вывод о том, что происходит в чьей-то голове, основываясь на их действиях; вы создаете неявную статистическую модель чьей-либо личности в своем уме, основываясь на их поведении, чтобы классифицировать их, понимать их и предсказывать их поведение. Хммм… звучит знакомо, не так ли?

Мы просто статистические модели? Наверное. Или, по крайней мере, наше поведение, вероятно, таково. Многие задачи, которые мы раньше считали сложными (например, аналогия), на самом деле оказались эмерджентными свойствами геометрии правильных многомерных многообразий (например , обучение представлению с помощью DCGAN ). На самом деле нет причин полагать, что все наши человеческие вычисления, наша человеческая сложность не могут быть закодированы какой-либо статистической моделью. Это одна из причин, по которой меня немного раздражает, когда люди называют глубокое обучение « просто статистикой » — что вы имеете в виду под «просто»? Эти люди либо сильно недооценивают сложность статистики, либо сильно переоценивают сложность человеческого поведения, либо и то, и другое.

Если вы все еще не убеждены, поставьте себя в следующую ситуацию. Представьте себе кого-то в своей жизни, кого вы невероятно сильно любите — кого-то, за кого вы бы умерли, или кого-то, чье присутствие делает жизнь достойной жизни. Представьте себе, что однажды они получают глубокий порез на руке в результате какого-то незначительного несчастного случая. Вместо сосудов, тканей и крови вы видите провода, печатные платы и охлаждающую жидкость. Вы спросите их: «Что же это такое? Ты был машиной все это время? Они отвечают : «Понятия не имею, это такой же шок для меня, как и для вас» (они понятия не имели , что нечеловек). Теперь, вы бы по-прежнему любили их? Будут ли они означать то же самое для вас? Они по-прежнему ваше все, кто-то, за кого вы бы умерли, кто-то, без кого вы не можете жить? Или то, что они были машиной, все меняет? Ваше мнение, конечно, ваше личное, и я не хотел бы опровергать ваши убеждения, но я готов поспорить, что вы были бы в равной степени опустошены, если бы потеряли этого человека, робота или нет.

Расширьте эту идею дальше — что мешает крайне убедительному, незаметно иному приближению человека к человеку? Какая характеристика человечества определяет его как таковое? Можете ли вы найти что-то материальное , что отличает нас от них ?

В любом случае, чтобы приведенные выше утверждения были правдой, вы должны оперировать с нашим нынешним уровнем научного понимания. Безусловно, в будущем мы обнаружим явления, которые каким-то образом отделят человечество от машин, хотя я считаю маловероятным, что мы это обнаружим ( главное, я не обязательно считаю маловероятным, что эти вещи существуют, просто маловероятно, что мы их обнаружим ). Конечно, если вы верите в какой-либо уровень духовности выше атеизма, то вышеизложенное также не обязательно верно. Я здесь не для того, чтобы оспаривать какие-либо из этих идей, и я сам не атеист — все, что написано в этой статье, является следствием аксиом, которые мы определяем в начале, и мы не навязываем этим аксиомам какой-либо твердой истины. Кроме того, такие проблемы, как трудная проблема сознанияеще больше усложняет дело. Пока у нас нет хорошего ответа на этот вопрос (которого мы, возможно, никогда не получим), трудно быть на 100% уверенным, что мы ничем не отличаемся от машин. Трудная проблема сознания — это фундаментальная причина, по которой я на самом деле не самый атеист, и причина, по которой я слегка беспокоюсь об искусственной жизни, которую мы создадим.

В любом случае, эта статья была всего лишь многословным способом защитить мой телефонный фон, созданный стабильной диффузией, после того, как я поссорился со своим другом. Спасибо за прочтение, пошел ты, Мередит ❤️.