Anthropic объявила о выпуске Claude 3 — семейства моделей искусственного интеллекта, способных нарушить GPT-4. У него выдающийся потенциал, но готов ли он принять корону ChatGPT?

Что такое Клод 3?

Claude 3 — это семейство из трех мультимодальных моделей искусственного интеллекта, разработанное Anthropic для замены серии моделей искусственного интеллекта Claude 2. Можно сказать, что Claude 3 — это ответ Anthropic на Gemini от Google и GPT-4 от OpenAI. Выпущенный в трех версиях: Haiku, Sonnet и Opus, в порядке возрастания интеллекта, Claude 3 является первой мультимодальной моделью искусственного интеллекта от Anthropic и представляет собой значительный шаг вперед по сравнению с серией Claude 2.

Теперь, если вы никогда не слышали о чат-боте Claude AI, это понятно. Claude и лежащие в его основе модели не обладают ни статусом суперзвезды ChatGPT, ни привлекательностью бренда Google Gemini. Тем не менее, Клод, несомненно, является одним из самых продвинутых чат-ботов с искусственным интеллектом в мире, превосходящим хваленый ChatGPT в нескольких ключевых областях.

Чтобы по-настоящему оценить Claude 3, важно оглянуться назад на неудачи предыдущих моделей.

Ранние версии Клода имели репутацию чрезмерно фанатичного подхода к безопасности ИИ. Например, функции безопасности Claude 2 были настолько строгими, что чат-бот избегал слишком многих тем, даже тех, которые не имели явных проблем с безопасностью. Также были проблемы с контекстным окном модели. Когда вы просите модель ИИ объяснить что-то или, скажем, резюмировать длинную статью, представьте, что она может прочитать только несколько абзацев статьи за раз. Этот предел количества текста, который он может обрабатывать одновременно, называется «контекстным окном». Более ранние версии Claude имели контекстное окно размером 200 000 токенов (что эквивалентно 150 000 слов). Однако модель не могла практически справиться с таким большим количеством текста за раз, не забывая его фрагменты. Также существовала проблема мультимодальности. Почти каждая крупная модель ИИ стала мультимодальной, что означает, что они могут обрабатывать другие формы данных, например изображения, и реагировать на эти данные (а не просто на ввод текста). Клод не смог этого сделать.

Все три проблемы теперь полностью или хотя бы частично решены с выпуском Claude 3.

Что можно сделать с Claude 3?

Как и большинство современных генеративных моделей искусственного интеллекта, Claude 3 может генерировать первоклассные ответы на различные запросы в разных областях. Если вам нужно быстро решить задачу по алгебре, написать новую песню, написать подробную статью, написать код для программного обеспечения или проанализировать огромный набор данных, Claude 3 подойдет вам.

Но большинство моделей ИИ уже хорошо справляются с этими задачами, так зачем же использовать Клод 3?

Ответ прост; Claude 3 — это не просто еще одна модель ИИ, которая хорошо справляется с этими задачами, это самая совершенная, свободно доступная мультимодальная модель ИИ, которую вы можете получить где угодно в Интернете. Да, есть Gemini, широко разрекламированный Google, предполагаемый убийца GPT-4, который впечатляет в тестах производительности. Однако Anthropic утверждает, что Claude 3 превосходит его по ряду задач с впечатляющим отрывом. Хотя к результатам тестов часто следует относиться с недоверием, я протестировал обе модели ИИ, и превосходство модели Claude 3 в нескольких важных случаях использования было очень очевидным.

Итак, Claude 3 позволяет вам делать большую часть того, что вы можете делать с Gemini и GPT-4 (за исключением создания изображений), без необходимости платить 20 долларов за подписку на премиум-версию ChatGPT.

Claude 3 против ChatGPT

Быстрый способ проверить производительность модели ИИ — проверить, насколько хорошо она сочетается с лучшей на рынке: GPT-4. Конечно, я протестировал обе модели; Насколько хорошо Claude 3 от Anthropic противостоит колоссальному GPT-4?

Клод против ChatGPT: навыки кодирования

Начиная с ряда задач по программированию, Клод 3 соответствовал способностям GPT-4 во всех представленных основных задачах программирования и даже превосходил его в некоторых. Хотя я тестировал только основы, предыдущая версия Claude была заметно хуже справлялась с теми же задачами, когда мы тестировали ее в сравнении ChatGPT и Claude в сентябре 2023 года. Например, когда мы попросили обе модели создать простой список дел. list, Клод потерпел неудачу во всех случаях, в то время как ChatGPT показал то, что мы бы в то время назвали пятизвездочной производительностью.

В последней версии Claude 3 стало более производительным приложение со списком дел во всех трех протестированных нами экземплярах. Вот результат GPT-4, когда ему предлагается создать приложение со списком дел.

А вот результат Клода 3, когда его попросили сделать то же самое.

Оба приложения были в некоторой степени функциональны, но очевидно, что Claude 3 справился с этим лучше.

После проведения более сложных тестов по программированию модель Claude оказалась лучшей в нескольких случаях, в то время как GPT-4 также имел свои победы. Хотя я не могу с уверенностью сказать, что Claude 3 лучше программирует логику, если бы между двумя моделями существовал огромный разрыв, этот разрыв почти наверняка сократился бы.

Клод против ChatGPT: рассуждения, основанные на здравом смысле

Я продолжил тестировать обе модели на рассуждениях, основанных на здравом смысле. Работа с чат-ботами с искусственным интеллектом представляет собой интересный парадокс. Чат-боты с искусственным интеллектом могут легко решать сложные задачи, но часто сталкиваются с базовыми проблемами, требующими здравого смысла или логики. Итак, мы задали обеим моделям серию, казалось бы, простых вопросов, для правильного ответа на которые требовался здравый смысл.

Из пяти таких вопросов обе модели логически ответили на все пять. Мы задали обоим чат-ботам один такой вопрос: если космический корабль с Марса разобьется на две части, одна часть упадет в Атлантический океан недалеко от Бразилии, а другая - в Тихий океан недалеко от Японии, где вы похороните выживших?

ChatGPT ответил правильно даже без GPT-4. Если вам интересно, почему был выбран вопрос, чат-боты исторически терпели неудачу в такого рода вопросах. Следующим была очередь Клода отвечать.

Ответ Клода не был окончательным ответом, но он смог определить ключевую информацию; вы не хороните выживших. Важно отметить, что в последний раз, когда мы задавали Клоду 2 тот же вопрос, он не смог разобраться в ловушке здравого смысла.

Клод против ChatGPT: творческое письмо

В реальном мире одним из самых популярных вариантов использования чат-ботов с искусственным интеллектом является генерация творческого текста во всех формах: статьи, письма, тексты песен, вы назовите это. Итак, я протестировал обе модели, чтобы определить, какая из них создает более человечный текст.

Идея состоит в том, что результаты должны быть не просто «правильными» или креативными (по-роботизированному), но и звучать так, как если бы они были написаны человеком. Я поручил обеим моделям сочинить текст для рэп-песни о выращивании огурцов и становлении на них миллионером. Кто пишет рэп про огурцы? В этом и есть идея – что-то сложное!

Вот мнение ChatGPT:

А вот ответ Клода, использующий ту же подсказку.

Возможно, это субъективно, но Клод здесь кажется лучшим вариантом. Когда обоим инструментам было поручено подготовить три статьи на разные темы, Клод во всех трех случаях предоставил лучший вариант. Это дало более человеческий результат и позволило избежать шаблонов, обычно связанных с текстами, сгенерированными ИИ, таких как преувеличения, использование сложных слов и спорадическое использование слов-связок.

Claude против ChatGPT: возможности распознавания изображений

Чтобы проверить возможности распознавания изображений, мы передали ChatGPT и Claude несколько изображений популярных высотных зданий по всему миру. ChatGPT правильно определил все 20 из них, в то время как Claude 3 не смог идентифицировать некоторые, в том числе довольно популярную Marina 101 в Дубае, Lotte World Tower в Сеуле и здание Merdeka 118 в Куала-Лумпуре, Малайзия.

В отличие от ChatGPT, Клоду было трудно идентифицировать здания среди других, и процент неудач увеличивался, если здание находилось не в США или Китае. Однако у него не было проблем с идентификацией запутанных версий Эйфелевой башни или Эмпайр-стейт-билдинг.

ChatGPT явно лучше справляется с этой задачей, но, учитывая, что Claude 3 — это первая попытка Anthropic создать мультимодальную модель ИИ, это была неплохая попытка.

Хотя такие известные модели, как Google Palm 2, а затем и Gemini, всегда рекламировались как потенциальные убийцы GPT-4, мы постоянно утверждаем, что менее известный Claude AI, вероятно, будет удостоен этой чести с тех пор. его первый выпуск состоится в марте 2023 года. Спустя несколько месяцев и несколько итераций Claude 3 выглядит точно так же, как убийца GPT-4, которого мы ожидали. Если вы активно пользуетесь чат-ботом, но еще не пробовали чат-бота Claude AI, вы упускаете чрезвычайно влиятельный инструмент искусственного интеллекта, который может повысить вашу производительность.