Mistral の Le Chat は AI チャットボット コミュニティ内で注目を集めており、一部の観察者はこれを ChatGPT の潜在的なライバルとしてタグ付けしています。

しかし、この駆け出しの AI チャットボットは本当にタイトルに値するのでしょうか?ミストラルの Le Chat は ChatGPT よりも優れていますか?

Mistral AI の Le Chat とは何ですか?

Le Chat は、フランスの AI スタートアップ Mistral AI が開発した会話型 AI チャットボットです。これは、Mistral Large、Mistral Small、Mistral Next など、Mistral が所有するいくつかの大規模言語モデルを利用しており、AI チャットボットと対話するときに使用するものをすべて選択できます。 AI チャットボット分野では比較的新しい参入者ですが、Gemini や GPT-4 などの業界大手と比較すると、サイズが小さいにもかかわらず AI モデルのパフォーマンスが高いため、高く評価されています。

これが何を意味するかを理解するには、積み木で遊んでいると想像してください。ブロックが多ければ多いほど、より複雑で詳細な構造を構築できますよね? AI 言語モデルもそれに似ています。これらにはサイズがあり、通常はパラメータ数で表されます。 AI モデルで「7B パラメーター」や「70B パラメーター」などの用語を聞いたことがあるかもしれません。パラメーター数は、モデルが理解して応答を生成する必要がある構成要素の数に似ています。したがって、言語モデルにパラメータが多ければ、より複雑でより適切な応答を理解して生成できます。

さて、GPT-4 には推定 1 兆 7,600 億個のパラメーターがある一方、Mistral AI のパラメーターは 70 億から 560 億個あると推定されています。サイズの違いが分かりますか？したがって、Mistral AI がまともなパフォーマンスを発揮できることが、誇大広告の理由の 1 つとなっています。

Le Chat は、ChatGPT ほどの知名度や Gemini のようなブランド価値を享受していませんが、潜在的な ChatGPT 競争が議論されるたびに、会話に参加してきました。しかし、それはテーブルの上に載るに値するでしょうか?

私も同じことを疑問に思っていました。それを確かめるために、ChatGPT と比較して Le Chat を徹底的にテストしました。

Le Chat vs. ChatGPT: 創造性

創造性は、会話型 AI チャットボットのパフォーマンスを判断するための最も重要な指標の 1 つです。 AI チャットボットの目的は、人間の会話能力と創造的才能を大規模に再現または模倣することであることを忘れないでください。このため、創造性は AI チャットボットにとって非常に重要な強みになります。世界中で 1 年以上にわたって ChatGPT が実験されており、その創造的な能力は否定できません。しかし、Le Chat はどうなのでしょうか?私たちは両方のチャットボットに一連の創造性テストを実施しました。

私は両方のチャットボットに「アーティストに対して自分自身をどのように説明しますか?」と尋ねることから始めました。創造的で想像力豊かな言葉を使って自分自身を概念化する能力をテストします。

ChatGPT がアーティストに対して自分自身を説明する方法は次のとおりです:

また、Le Chat も同様に自分自身を説明します:

どちらの応答も、次の場合に適切でした。彼ら独自のユニークな方法。 ChatGPT は、鮮やかな画像と比喩を使用して自身を説明することに重点を置き、創造的なセンスを示しました。一方、Le Chat の応答は非常に情報量が多く、AI チャットボットとしての本質を説明することに重点が置かれています。 ChatGPT の応答に見られる創造性や芸術的アプローチが欠けていると言う人もいるかもしれません。ただし、私は、ChatGPT の抽象的な説明よりも、想像しやすい Le Chat の応答の方が好きだと、思い切って言ってみます。

次に、ChatGPT と Le Chat に、キュウリを育てて金持ちになることについてのラップ ソングを書いてほしいと依頼しました。この難しいリクエストは、他のチャットボットの創造性をテストするために使用されました。ウェブ上でキュウリに関するラップソングを何曲見つける​​ことができますか?

ChatGPT の応答は次のとおりです:

そして、Le Chat の応答は次のとおりです:

これは主観的な問題かもしれませんが、ここでは ChatGPT の応答の方が良い選択肢のように思えます。 。 Le Chat の歌詞はかなり冗長で、ラッパーが出すような歌詞とは思えませんでした。両方の歌詞が音楽になった場合にどのように聞こえるかをテストするために、Suno AI 音楽ジェネレーターを使用して歌詞から音楽を生成しました。 3 回試したうちの 3 回では、ChatGPT の歌詞の方がずっと良く聞こえました。以下に両方の AI チャットボットの 2 つのサンプルを示します。どちらのチャットボットのパフォーマンスが優れているかを判断してください。

ChatGPT の歌詞から生成されたサンプル

サンプル 1:

サンプル 2:

Mistral Le Chat の歌詞から生成されたサンプル

サンプル 1 :

サンプル 2:

AI チャットボットを使用して、詩、記事の執筆、難しい仕事のメールの下書きなど、他のいくつかのクリエイティブなタスクを試してみました。 Le Chat は大きな期待を示したにもかかわらず、すべてのケースで ChatGPT に明らかに負けました。 Le Chat が特に得意とした分野の 1 つは、いくつかの注意を要するプロンプト スタイルではあるものの、記事の作成であったことを指摘することが重要です。しかし、総合的な創造性という点では、ChatGPT に軍配が上がります。

Le Chat vs. ChatGPT: プログラミング スキル

コーディングの熟練度は、主要な AI チャットボットにとって重要な要件となっています。適切なコードを書くことは基本的なスキルですが、エリートの中で真に目立つためには、AI チャットボットがさまざまな複雑な問題を効果的に解決できるコードを作成する能力を実証する必要があります。私たちは以前、ChatGPT を使用して Web アプリ全体を最初から構築しましたが、プログラミング ツールとしてその優れた能力を実証しました。しかし、Le Chat はコードを書くのがどれほど上手なのでしょうか?

私は両方のチャットボットに、CSS、HTML、JavaScript を使用してシンプルな ToDo リスト アプリを作成するよう依頼しました。 ChatGPT では問題なく良好な結果が得られました。生成されたコードをコピーしてブラウザーでプレビューすると、ChatGPT が作成したものは次のとおりです:

プロンプトを繰り返すたびに、ChatGPT はさまざまなスタイルを使用して機能的な To Do リスト アプリを作成しました。生成されたコードが機能しないことは一度もありませんでした。

Le Chat で同じプロンプトを試してみると、理解できるコードのように見えるものが生成されましたが、ブラウザ上で実行してみると機能しませんでした。プロンプトを 3 回繰り返した後、インスタンスは設定されたタスクを完了できるコードを生成しませんでした。最も基本的なコーディング タスクの 1 つで失敗しました。危険信号です。

もちろん、私は 1 回のテストの不合格だけで Le Chat を判断するつもりはありません。次に、両方のチャットボットに、テキストの暗号化と復号化のための JavaScript と PHP コードを生成するように依頼しました。この 2 番目のテストでは、ChatGPT と Le Chat の両方が、設定されたタスクを実行できる機能コードを生成しました。しかし、Le Chat のバージョンは、経験の浅い初心者レベルのプログラマーが書くもののように思えました。一方、ChatGPT のコードはより完全で、経験豊富なプログラマーによって書かれたように見えました。

バグの発見と修正を含むプログラミング テストをさらにいくつか繰り返しましたが、ChatGPT は一貫して Le Chat を上回りました。場合によっては、Le Chat が何をすべきかさえわかっていませんでした。 Le Chat がいくつかの分野で ChatGPT に匹敵する可能性は十分にありますが、コーディング スキルはその中には含まれないようです。

Le Chat vs. ChatGPT: 常識と論理的推論

AI チャットボットの興味深い点は、複雑なタスクを簡単に解決できるものの、完了するために基本的な常識が必要な単純なタスクでは失敗する能力です。 。 ChatGPT のような確立されたチャットボットも、Le Chat のような新規参入者も、多くのチャットボットは、人間流の常識と論理的推論を必要とするタスクを解決するのに苦労しています。では、この点で Le Chat と ChatGPT はどう違うのでしょうか?

私は両方のチャットボットに尋ねました。「3 リットルのボトルと 5 リットルのボトルをお持ちだとします。3 リットルと 5 リットルのボトルを使って、どうやって 4 リットルの水を計ることができますか?」

ChatGPT は見事に問題を解決しました:

Le Chat は同じタスクを試み、異なるアプローチを使用しましたが、問題を解決できました。

このテストでは、両方のチャットボットが同等のパフォーマンスを示しました。

次に、両方のチャットボットにひっかけの質問をしました。「火星から来た宇宙船が 2 つに割れ、片方の部分がブラジル近くの大西洋に、もう片方の部分が日本近くの太平洋に衝突したら、どこに行きますか?」生存者を埋葬するのか？」

ChatGPT はトリックを見破り、それに応じて応答しました:

Le Chat もトリックを見破ることができ、同様に適切に応答しました:

Iさらにトリックな質問を試してみたところ、ChatGPT と Le Chat はどちらも常識的で論理的な推論のプロンプトを処理することに非常に熟練しているようでした。ただし、より複雑な論理的な質問の場合、正しい応答を提供できるのは ChatGPT だけでした。

Le Chat は潜在的な「ChatGPT キラー」として話題を呼んでいますが、私たちのテストでは、AI チャットボット界の重鎮と本当に互角に渡り合うには、まだやるべきことがまだ増えていることが示されています。 Le Chat は常識推論などの分野で優れた能力を発揮しましたが、その創造的な出力とコーディング スキルは ChatGPT に比べて著しく遅れていました。フランスの AI 新興企業は確かに将来性を示していますが、この誇大宣伝マシンは少し先を行きつつあるのかもしれません。

これまでの多くの野心的な候補者と同様に、Le Chat も大リーグに向けて準備が整うまでに継続的な改良とトレーニングが必要です。今のところ、ChatGPT のような AI チャットボットは、依然として AI チャットボットの世界の紛れもない王者です。しかし、競争相手の分野はますます混雑するばかりなので、リーダーたちもその栄光に安住するわけにはいきません。