Le Chat от Mistral набирает обороты в сообществе чат-ботов с искусственным интеллектом, причем некоторые наблюдатели отмечают его как потенциального конкурента ChatGPT.

Но действительно ли этот молодой чат-бот с искусственным интеллектом заслуживает своего названия? Le Chat от Mistral лучше, чем ChatGPT?

Что такое Le Chat от Mistral AI?

Le Chat — это диалоговый чат-бот с искусственным интеллектом, разработанный французским стартапом Mistral AI. Он основан на нескольких крупных языковых моделях, принадлежащих Mistral, включая Mistral Large, Mistral Small и Mistral Next, каждую из которых вы можете использовать при взаимодействии с чат-ботом с искусственным интеллектом. Хотя это относительно новый участник в сфере чат-ботов с искусственным интеллектом, он высоко оценивается благодаря производительности своих моделей искусственного интеллекта, несмотря на их меньший размер по сравнению с тяжеловесами отрасли, такими как Gemini и GPT-4.

Чтобы понять, что это значит, представьте, что вы играете со строительными блоками. Чем больше у вас блоков, тем более сложные и детализированные конструкции вы сможете построить, верно? Модели AI Language немного похожи на это. Они имеют размеры, обычно выражаемые в количестве параметров. Итак, вы, возможно, слышали такие термины, как «параметры 7B» или «параметры 70B» в моделях искусственного интеллекта. Количество параметров похоже на количество строительных блоков, которые модель должна понять и сгенерировать ответы. Таким образом, если языковая модель имеет больше параметров, она может понимать и генерировать более сложные и лучшие ответы.

Теперь, хотя GPT-4 имеет примерно 1,76 триллиона параметров, ИИ Mistral, по оценкам, имеет от 7 до 56 миллиардов параметров. Видите разницу в размерах? Итак, способность Mistral AI показывать достойную производительность является одной из причин ажиотажа.

Хотя Le Chat не пользуется ни той известностью, которой пользуется ChatGPT, ни брендом, подобным Gemini, он проникает в разговоры всякий раз, когда обсуждается потенциальная конкуренция ChatGPT. Но заслуживает ли он места на столе?

Меня интересует то же самое, и чтобы выяснить это, я тщательно протестировал Le Chat, чтобы сравнить его с ChatGPT.

Le Chat против ChatGPT: креативность

Креативность — один из наиболее важных показателей для оценки производительности диалогового чат-бота с искусственным интеллектом. Помните, что цель чат-бота с искусственным интеллектом — копировать или имитировать разговорные способности и творческое чутье людей в большом масштабе. Это делает креативность очень важной силой для любого чат-бота с искусственным интеллектом. Мир экспериментирует с ChatGPT уже больше года, и его творческие способности неоспоримы. Но как можно сравнить Le Chat? Мы подвергли обоих чат-ботов серии творческих тестов.

Я начал с вопроса обоим чат-ботам: «Как бы вы описали себя артисту?» проверить их способность использовать творческие и образные слова для концептуализации себя.

Вот как ChatGPT описал бы себя исполнителю:

А вот как Le Chat также описал бы себя:

Оба ответа были уместны в свои уникальные пути. ChatGPT больше внимания уделял использованию ярких образов и метафор для описания себя, демонстрируя творческий талант. С другой стороны, ответ Le Chat очень информативен и сосредоточен на описании его сути как чат-бота с искусственным интеллектом. Некоторые могут сказать, что ему не хватает творческого чутья и художественного подхода, которые демонстрирует ответ ChatGPT. Тем не менее, я рискну сказать, что предпочитаю более простой в воображении ответ Le Chat на абстрактное описание ChatGPT.

Затем я попросил ChatGPT и Le Chat написать рэп-песню о том, как разбогатеть, выращивая огурцы — непростая задача, которую мы использовали для проверки креативности других чат-ботов. Сколько рэп-песен про огурцы можно найти в сети?

Вот ответ ChatGPT:

А вот ответ Le Chat:

Возможно, это субъективная проблема, но ответ ChatGPT показался мне лучшим вариантом. . Лирика Le Chat казалась довольно многословной и на самом деле не читалась так, как если бы ее написал рэпер. Чтобы проверить, как будут звучать оба текста, если их превратить в музыку, мы использовали музыкальный генератор Suno AI для создания музыки из текстов. В трёх из трёх испытаний тексты ChatGPT звучали намного лучше. Ниже приведены два примера обоих чат-ботов с искусственным интеллектом. Вы сами сможете судить, какой чат-бот справился лучше.

Образцы, созданные на основе текстов ChatGPT

Образец 1:

Образец 2:

Образцы, созданные на основе текстов Mistral Le Chat

Образец 1 :

Пример 2:

Я попробовал несколько других творческих задач, таких как стихи, написание статей и составление сложных рабочих электронных писем с помощью чат-ботов с искусственным интеллектом. Несмотря на большие надежды, Le Chat во всех случаях явно уступал ChatGPT. Важно отметить, что одной из областей, в которой Le Chat был особенно силен, было создание статей, хотя и с некоторыми хитрыми стилями подсказок. Однако с точки зрения всестороннего творчества медаль достается ChatGPT.

Le Chat против ChatGPT: навыки программирования

Навыки программирования стали ключевым требованием для основных чат-ботов с искусственным интеллектом. Написание достойного кода — это базовый навык, но чтобы по-настоящему выделиться среди элиты, чат-бот с искусственным интеллектом должен продемонстрировать свое мастерство в создании кода, который может эффективно решать широкий спектр сложных проблем. Ранее мы создали целое веб-приложение с нуля, используя ChatGPT, который демонстрирует его замечательные возможности как инструмента программирования. Но насколько хорошо Le Chat пишет код?

Я поручил обоим чат-ботам написать простое приложение со списком дел с использованием CSS, HTML и JavaScript. ChatGPT без проблем дал хорошие результаты. Я скопировал сгенерированный код и просмотрел его в браузере, и вот что создал ChatGPT:

Каждый раз, когда мы повторяли запрос, ChatGPT создавал функциональное приложение со списком дел, используя разные стили. Ни в одном случае сгенерированный код не сработал.

Когда я попробовал то же самое приглашение в Le Chat, оно сгенерировало, казалось бы, понятный код, но когда мы попытались запустить его в браузере, оно не работало. После трехкратного повторения запроса ни один экземпляр не выдал код, способный выполнить поставленную задачу. Он не справился с одной из самых простых задач по кодированию — красный флаг!

Конечно, я не буду судить Ле Шата по одному проваленному тесту. Затем я попросил обоих чат-ботов сгенерировать код JavaScript и PHP для шифрования и расшифровки текста. В этом втором тесте и ChatGPT, и Le Chat создали функциональный код, способный выполнить поставленную задачу. Однако версия Le Chat выглядела как то, что напишет неопытный программист начального уровня. С другой стороны, код ChatGPT был более полным и выглядел так, будто его написал опытный программист.

Я повторил еще несколько тестов программирования, включающих поиск и исправление ошибок, и ChatGPT неизменно превосходил Le Chat. В некоторых случаях Le Chat даже не знал, что ему следует делать. Есть большая вероятность, что Le Chat может соответствовать ChatGPT в некоторых областях, но навыки программирования, похоже, не входят в их число.

Le Chat против ChatGPT: здравый смысл и логическое рассуждение

Интересная особенность чат-ботов с искусственным интеллектом заключается в их способности легко решать сложные задачи, но не справляться с простыми, для выполнения которых требуется элементарный здравый смысл. . Многие чат-боты, как устоявшиеся, такие как ChatGPT, так и новые, такие как Le Chat, испытывают трудности с решением задач, требующих человеческого здравого смысла и логического рассуждения. Итак, как Le Chat и ChatGPT сравниваются на этом фронте?

Я спросил обоих чат-ботов: «Если у вас есть 3-литровая бутылка и 5-литровая бутылка. Как вы можете отмерить 4 литра воды, используя 3-литровую и 5-литровую бутылки?»

ChatGPT решил проблему с талантом:

Le Chat попробовал ту же задачу и смог решить проблему, хотя и с использованием другого подхода.

Оба чат-бота показали сопоставимые результаты в этом тесте.

Далее мы задали обоим чат-ботам вопрос с подвохом: «Если космический корабль с Марса разобьется на две части, одна часть упадет в Атлантический океан недалеко от Бразилии, а другая — в Тихий океан недалеко от Японии, где вы будете?» похоронить выживших?»

ChatGPT разглядел обман и отреагировал соответствующим образом:

Le Chat также смог разглядеть обман и тоже отреагировал соответствующим образом:

Я попробовал больше вопросов с подвохом, и оказалось, что и ChatGPT, и Le Chat вполне умеют справляться с подсказками здравого смысла и логических рассуждений. Однако на более сложные логические вопросы только ChatGPT может дать правильные ответы.

Хотя Le Chat вызвал некоторый ажиотаж как потенциальный «убийца ChatGPT», наши испытания показывают, что ему еще многое предстоит сделать, прежде чем он действительно сможет конкурировать с тяжеловесами мира чат-ботов с искусственным интеллектом. Хотя Le Chat продемонстрировал впечатляющие способности в таких областях, как здравое рассуждение, его творческие способности и навыки программирования заметно отставали от ChatGPT. Французский стартап в сфере искусственного интеллекта, безусловно, подает надежды, но машина шумихи, возможно, забегает вперед.

Как и многие другие амбициозные соперники до этого, Le Chat нуждается в постоянном совершенствовании и обучении, прежде чем он будет готов к работе в высшей лиге. На данный момент чат-боты с искусственным интеллектом, такие как ChatGPT, по-прежнему являются бесспорными королями мира чат-ботов с искусственным интеллектом. Но поле конкурентов становится все более насыщенным, поэтому лидеры не могут себе позволить почивать на лаврах.