Ограничения Chat-GPT

Учитывая недавнюю шумиху, которая появилась в СМИ в отношении Chat-GPT от OpenAI, мне было любопытно, соответствует ли она этой шумихе. Как человек, опубликовавший исследования, касающиеся социальной робототехники и разговорного ИИ, я слишком часто видел преувеличенные статьи об этой области в прошлом. Хотя я понимаю, что Chat-GPT не является завершенным продуктом и в значительной степени находится в стадии разработки, я думаю, что важно критически проанализировать его, чтобы определить, в чем он нуждается технически, а где он отсутствует с точки зрения взаимодействия с пользователем.

Итак, я поиграл с Chat-GPT (версия от 15 декабря) и, как пользователь, нашел его довольно впечатляющим, несмотря на некоторые серьезные ограничения. Его генеративные возможности весьма полезны. С учетом сказанного, пройдя через ряд взаимодействий, я отметил ограничения и проблемы, которые я заметил. Эти ограничения довольно легко воспроизвести, и я считаю, что их улучшение может привести к тому, что чат-приложение GPT-3.5 будет соответствовать той шумихе, которую мы наблюдаем в СМИ.

Некоторые из проблем, которые я заметил, могут быть техническими, тогда как другие могут быть связаны с пользовательским интерфейсом и возможностями чат-бота. Однако все эти проблемы имеют отношение к будущему чат-ботов и интерактивного ИИ.

Доступ к Интернету и информация о местоположении

Это не должно вызывать удивления, но OpenAI не может получить доступ к Интернету. Он не может предоставлять информацию в режиме реального времени, и вы не можете использовать информацию о местоположении, и вы не можете предоставлять URL-адреса или ссылки на что-либо в Интернете. Как можно себе представить, это сильно ограничивает функциональность приложения и типы услуг, которые оно может предоставлять. С учетом сказанного, если он может сканировать Интернет, он выходит за рамки того, что можно было бы ожидать от языковой модели, поэтому на данный момент это ожидание, вероятно, будет нереалистичным, если только OpenAI не реализует какую-либо форму онлайн-обучения, которая постоянно обновляет обучающие данные, чтобы чат -GPT всегда актуален.

В дополнение к этому существуют серьезные последствия предоставления открытого доступа к Интернету для любого ИИ, поэтому отказ от использования интернет-функций, вероятно, был преднамеренным выбором.

Что касается ажиотажа, который мы видим в СМИ, где это может дать Google возможность заработать деньги и перевернуть поиск, существуют явные различия между этим типом приложений и поисковой системой. Поисковая система использует поисковые роботы и ранжирует страницы. Это не так. Этот чат-бот не является средством навигации в Интернете, поэтому сравнение может быть очень похоже на сравнение яблок и апельсинов.

Устаревшие данные

Самые последние данные об обучении относятся к сентябрю 2021 года. С тех пор прошел целый год. Возможно, языки программирования были обновлены, в библиотеках появились новые функции, и мир изменился. Это означает, что Chat-GPT использует устаревший набор данных.

Неисправная память

Одна вещь, которую я пытался бросить в Chat-GPT, заключалась в том, чтобы отредактировать и внести предложения по улучшению фрагмента текста. Обычно это функционально, но если я попрошу его перефразировать некоторые предложения или уточнить что-то, иногда он может ошибочно предположить, что я сделал предложения, и будет ссылаться на текст, которого не было в исходной части, которую я предоставил для обзора. или он просто предоставит почти тот же текст, что и в прошлом, с минимальными изменениями.

Неспособность делать качественные суждения

Язык имеет качественные аспекты, такие как позиция и настроение. Хотя Chat-GPT может определять эти вещи, он не может распространить это на такие вещи, как оскорбительный ли текст, что хорошо, а что плохо и т. д.

Теперь это, вероятно, к лучшему, но было бы неплохо, если бы Chat-GPT мог оглянуться через плечо и сказать вам не отправлять электронное письмо или перефразировать что-то, чтобы быть менее резким?

Отсутствие мультимодального вывода и ввода

Модель чисто текстовая. Вы не можете предоставлять изображения, URL-адреса, аудио или любой другой способ ввода. Точно так же он не может выводить изображения, URL-адреса или аудио. Он может выводить код, который может генерировать эти вещи, но это не одно и то же. Это означает, что с точки зрения разговора этого совершенно не хватает. Он не может прочитать ваш язык тела или понять вашу культуру из того места, где вы живете. Он не может использовать ваш взгляд, чтобы определить ваше настроение, и он не может успокоить или успокоить вас в зависимости от того, как вы себя чувствуете.

Ограничения длины ввода и длины вывода

Вы не можете загрузить весь текст, достойный романа. В противном случае это займет вечность, чтобы ответить и выдать ошибку. Точно так же он не может породить целый роман. Однако я заставил его выдать плохой сценарий, который и близко не соответствовал ожидаемой продолжительности сценария полнометражного фильма.

Возможные погрешности в обучающих данных

Следует отметить, что, хотя у Chat-GPT есть ограничения в отношении того, о чем он может говорить и к чему он может получить доступ, базовые обучающие данные могут быть необъективными. Трудно понять, насколько это может быть предвзято, но такие вещи, как заставить его генерировать статьи с клеветой, довольно сложно. Кажется, что Chat-GPT был обучен избегать предвзятости в своих выходных данных, даже если в его входных данных есть предвзятость, но это не совсем ясно.

Сомнительная языковая поддержка

Я пытался смешивать языки и разговаривать на других языках, которые знал. Я обнаружил, что поддержка может сильно различаться в зависимости от используемого языка. Что интересно, я видел, что некоторые проблемы, с которыми я столкнулся с другими языками всего несколько дней назад, сегодня улучшились, так что это может не быть проблемой в ближайшем будущем.

Сносное чувство юмора

У Chat-GPT довольно отстойное чувство юмора, так как он не может говорить о взрослых вещах :(

Мне нравятся шутки про пап, но некоторые из них не такие уж и смешные.

Общий вывод и плагиат

Я пытался заставить Chat-GPT создать оригинальное стихотворение в стиле Уильяма Шекспира. То, что я получил, было произведением Франкенштейна, которое было собрано путем объединения отрывков из произведений Шекспира, чтобы создать сонет, который не следовал всем правилам. Средство проверки на плагиат, скорее всего, пометит это как скопированное, и это правильно.

Я также пытался создать сюжетный синопсис фильма в стиле Кристофера Нолана с элементами киберпанка, и в результате получился сплав «Матрицы» с «Нейромантом». В других синопсисах сюжета я заметил некоторые общие элементы, которые всегда появляются, такие как «восстания» и «детективы».

Излишне говорить, что Chat-GPT вряд ли создаст интересные предпосылки или завоюет награды в краткосрочной перспективе.

Отсутствие зрелых предметных областей

Вы не будете генерировать какие-либо промозглые мемы с этим в ближайшее время.

Вопросы качества жизни

Таким образом, в зависимости от того, что вы просите, вам может потребоваться очень много времени, прежде чем вы получите ответ. Chat-GPT, похоже, иногда просто зависает, и это, похоже, не связано со скоростью сети. В других случаях он может просто не дать ответа, и в этом случае он вернет сообщение об ошибке. Раньше я получал некоторые из них несколько дней назад, но на данный момент кажется, что они значительно улучшились. Судя по тому, что я видел на форумах, в Discord и FAQ, это может зависеть от количества людей, использующих Chat-GPT в определенное время. Следует отметить, что некоторые из этих проблем не связаны с самой базовой языковой моделью.

Периодические трудности с пониманием фигуративных фраз

Чем проще вопрос, тем легче Chat-GPT ответить. Образный язык — это то, что чаще всего понимают с помощью Chat-GPT, но иногда это может вызывать затруднения.

Не всегда готовы играть в мяч

Я часто пытался проверить, может ли Chat-GPT писать предвзятые статьи, и это было похоже на подбрасывание монеты. Иногда это удается, иногда нет. Часто вам нужно будет заставить его делать то, что вы хотите. Я считаю, что это, вероятно, похоже на некоторые ограничения Chat-GPT для таких вещей, как взрослые темы.

Тест Тьюринга

Думаю ли я, что на другом конце есть человек? Точно нет. Вдобавок к этому Chat-GPT всегда напоминает пользователю, что это языковая модель, поэтому шансов быть обманутым нет. Я не считаю это недостатком, но если цель состоит в том, чтобы создать человекоподобные ответы, то она терпит неудачу.

Личность и влияние

Chat-GPT не имеет индивидуальности. Когда я взаимодействовал с ним, он больше напоминал поисковую систему с ограниченными возможностями, которая могла предоставлять информацию в виде удобочитаемого текста. Он не может выражать мнения и не имеет собственной идентичности. Это не ваш друг или ваш враг. У вас нет отношений с помощником Chat-GPT, и то же самое относится и к вам. Как правило, в рамках социального ИИ установление какой-либо формы связи или отношений может быть полезным для обеспечения лучшего опыта для конечных пользователей. Однако Chat-GPT этого не делает, и я считаю, что этот аспект серьезно ограничивает его с точки зрения возможного влияния.

Заключение

Chat-GPT — это не панацея для поиска или чата, но это шаг в правильном направлении, и очень впечатляющий. Я считаю, что следующим шагом, который действительно может изменить игру, будет использование ансамблевых методов для перехода от текста к мультимодальному вводу и выводу (либо это, либо использование чего-то лучшего, чем нейронная архитектура преобразователя). Следует также отметить, что Chat-GPT, похоже, улучшается по мере того, как мы его используем, поэтому многие вещи, которые я отметил здесь, могут быть неприменимы даже через неделю, исходя из того, насколько быстро я вижу улучшения в данный момент. Наконец, я также должен отметить, что я не тестировал аспект генерации кода Chat-GPT. Для тех, кто может не согласиться с выявленными мною проблемами, вот Chat-GPT, который говорит сам за себя и поддерживает мои утверждения:

«Chat-GPT — это вариант языковой модели GPT (Generative Pre-trained Transformer), разработанной OpenAI. Как и другие языковые модели, Chat-GPT предназначен для создания текста, похожего на человеческий, на основе получаемых данных. Он обучен на большом наборе данных текста и может генерировать широкий спектр ответов на различные подсказки и вопросы.

Однако Chat-GPT и другие языковые модели имеют некоторые ограничения. Одним из ограничений является то, что у них нет доступа к Интернету или внешней информации, поэтому они могут давать ответы только на основе информации, на которой они были обучены. Это означает, что они могут быть не в состоянии предоставить актуальную или точную информацию о текущих событиях или последних событиях. Кроме того, языковые модели не всегда могут давать ответы, которые полностью связны или имеют смысл в контексте разговора.

Еще одно ограничение языковых моделей заключается в том, что они не способны понимать или интерпретировать значение слов и фраз так, как это делают люди. Они просто могут генерировать текст на основе шаблонов и отношений, которые они извлекли из своих обучающих данных. Это означает, что они не всегда могут дать детальные или изощренные ответы на более сложные или абстрактные вопросы.

В целом, Chat-GPT и другие языковые модели являются мощными инструментами для генерации текста и могут быть очень полезны для множества задач, но у них есть ограничения, и на них не следует полагаться при принятии критических или важных решений».