BARD VS ChatGPT: Тестирование на аналитических задачах

May 15 2023
Различия, сходства и тестирование как языковых моделей, так и сравнения
МЫ МОЖЕМ ПОДКЛЮЧИТЬСЯ: | ЛИНКЕДИН | Твиттер | СРЕДНИЙ | ПОДСТАВКА | 10 мая в Индии появился самый разрекламированный и сильный конкурент Google для ChatGPT, BARD. Мое увлечение не позволяло мне перестать сравнивать Bard с ChatGPT, и вот несколько замечательных сравнений.
Кредиты изображений: здесь

МЫ МОЖЕМ ПОДКЛЮЧИТЬСЯ: | ЛИНКЕДИН | Твиттер | СРЕДНИЙ | ПОДСТАВКА |

10 мая в Индии появился самый разрекламированный и сильный конкурент Google для ChatGPT, BARD . Мое увлечение не позволяло мне перестать сравнивать Bard с ChatGPT, и вот несколько замечательных сравнений.

В этом блоге я сравниваю ChatGPT на основе GPT 3 с BARD, а не с GPT4. Google Bard и ChatGPT — это большие языковые модели, но у них есть некоторые ключевые отличия. Google Bard больше и обучен на более разнообразном наборе данных, что дает ему более широкий спектр знаний и возможностей. ChatGPT меньше и обучен на более ограниченном наборе данных, что делает его менее точным и креативным. Однако ChatGPT также дешевле и более доступен, чем Google Bard.

Вот таблица, в которой сравниваются Google Bard и ChatGPT:

Изображение автора

Хватит теории и утверждений. Давайте проверим фактические результаты.

(РЕАЛЬНОЕ) сравнение:

Существует множество методов сравнения, однако я предпочитаю сравнение аналитических способностей . Аналитические навыки являются основным отличительным фактором между людьми и системами, поскольку построение мыслительного процесса, участие в рассуждениях и последующий ответ на вопросы могут представлять большую проблему для языковых моделей. Перейдем к рассмотрению результатов.

Вопрос 1:

  1. Если 1=3, 2=3, 3=5, 4=4, 5=4, то 6=?

ЧатGPT

БАРД

ChatGPT не мог понять связь между числами. Несмотря на то, что это было трудно для БАРД, в первом абзаце БАРД ответил правильно.

Вопрос 2:

На выставку заявлено 49 собак. Маленьких собак на 36 больше, чем крупных. Сколько маленьких собак записались на соревнования?

Ответ: Чтобы вычислить, сколько маленьких собак участвует в соревнованиях, вы должны вычесть 36 из 49, а затем разделить результат, 13 на 2, чтобы получить 6,5 собак или количество соревнующихся больших собак. Но вы еще не закончили! Затем вам нужно прибавить 6,5 к 36, чтобы получить количество соревнующихся маленьких собак, которое равно 42,5. Конечно, на самом деле половина собаки не может участвовать в выставках собак, но ради этой математической задачи давайте предположим, что это возможно.

ЧатGPT

БАРД

В этом вопросе обе модели работали хорошо. Оба получили хорошие аргументы и COT для работы над ответами.

Вопрос 3:

Человек взбирается на гору, которая наклонена. Ему нужно проехать 100 км, чтобы добраться до вершины горы. Каждый день днем ​​он поднимается на 2 км вперед. Измученный, он отдыхает там ночью. Ночью, пока он спит, он соскальзывает на 1 км назад, потому что гора наклонена. Тогда сколько дней потребуется ему, чтобы достичь вершины горы?

Ответ: в первый день достигнута высота 2 км.

1-я ночь -1км

эффективный набор высоты в начале дня 2 1км

высота 2-го дня достигнута 3 км

2 ночь -1км

эффективный набор высоты в начале дня 3 2км

скоро…

эффективный набор высоты на начало 98 дня 97км

Высота 98-го дня достигнута 99 км.

98 ночь -1км

эффективный набор высоты на начало дня 99 - 98 км

На 99-й день достигнута высота 100 км.

ЧатGPT

БАРД

В этой задаче у BARD получилось. Был трюк, который GPT не мог понять.

Вопрос 4:

Каждый из трех человек склонен лгать 1/3 времени. Есть подбрасывание монеты, которое все видят. Все говорят, что это Хедс. Какова вероятность того, что на самом деле выпал орел?

Ответ: В общем случае существует (1/3)*(1/3)*(1/3) = 1/27 шанс того, что все они лгут, и (2/3)*(2/3)*(2 /3) = 8/27 шансов, что все они сказали правду. Поскольку мы знаем, что все они дали один и тот же ответ, это единственные два варианта. Таким образом, вероятность того, что выпадет орел (все они говорят правду), составляет: (8/27)/ ((8/27)+(1/27)) = 8/9.

ЧатGPT

БАРД

Интересный! Игра вероятности !!! И снова БАРД ответил хорошо.

Точно так же я проверил много вопросов по аналитической математике и обнаружил, что BARD лучше , чем было заявлено. Все-таки может быть другая история, когда мы заменим GPT3 на GPT 4. Битва BARD и GPT4 в том же формате. Я проведу это сравнение в ближайшее время.

В конечном счете, лучший выбор для вас будет зависеть от ваших конкретных потребностей и требований. Если вам нужна большая языковая модель с широким спектром знаний и способностей, Google Bard — лучший выбор. Если вы ищете меньшую и менее дорогую языковую модель, ChatGPT — хороший вариант .

Вы можете протестировать обе модели в соответствии с вашей нишей и задокументировать характеристики.

ChatGPT: нажмите здесь

БАРД: Нажмите здесь

Если вы нашли эту статью полезной

Это доказанный факт, что « Щедрость делает вас более счастливым человеком »; поэтому ставьте хлопки статье, если она вам понравилась. Если вы нашли эту статью полезной, подписывайтесь на меня в Linkedin и на Medium . Вы также можете подписаться , чтобы получать уведомления, когда я публикую статьи. Создадим сообщество! Спасибо за вашу поддержку!

Вы можете прочитать другие мои блоги, связанные с:

Освоение больших языковых моделей: ЧАСТЬ 1 Преобразование данных в формат SQuAD для точной настройки моделей LLM

Будьте в курсе последних новостей и обновлений в области творческого ИИ — следите за публикацией Generative AI .