「労働者が自分の仕事をうまくやりたいなら、まず自分の道具を研ぎ澄まさなければなりません。」 - 孔子、「論語。陸霊公」
表紙 > AI > LLM を超えて: 小規模言語モデルが AI の未来である理由がここにあります

LLM を超えて: 小規模言語モデルが AI の未来である理由がここにあります

2024 年 11 月 1 日に公開
ブラウズ:209

Open AI の ChatGPT のリリースにより、大規模言語モデル (LLM) が登場しました。それ以来、いくつかの企業も LLM を立ち上げましたが、現在は小規模言語モデル (SLM) に傾いている企業が増えています。

SLM は勢いを増していますが、SLM とは何ですか?また、LLM との違いは何ですか?

小規模言語モデルとは何ですか?

小規模言語モデル (SLM) は、パラメーターが少ない人工知能モデルの一種です (これは、トレーニング中に学習されたモデルの値であると考えてください)。より大きな対応物と同様に、SLM はテキストを生成し、他のタスクを実行できます。ただし、SLM はトレーニングに使用するデータセットが少なく、パラメーターも少なく、トレーニングと実行に必要な計算能力も少なくなります。

SLM は主要な機能に焦点を当てており、フットプリントが小さいため、さまざまなデバイスに導入できます。モバイル デバイスのようなハイエンド ハードウェアを備えていない場合。たとえば、Google の Nano は、モバイル デバイス上で動作する、ゼロから構築されたオンデバイス SLM です。同社によれば、Nano はサイズが小さいため、ネットワーク接続の有無にかかわらずローカルで実行できます。

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

Nano 以外にも、AI 分野では有力企業や今後の企業から多数の SLM が提供されています。人気のある SLM には、Microsoft の Phi-3、OpenAI の GPT-4o mini、Anthropic の Claude 3 Haiku、Meta の Llama 3、Mistral AI の Mixtral 8x7B などがあります。

他のオプションも利用できます。これらは LLM だと思われるかもしれませんが、実際にはそうではありません。 SLM。これは、ほとんどの企業がポートフォリオで複数の言語モデルをリリースし、LLM と SLM の両方を提供するマルチモデル アプローチを採用していることを考慮すると、特に当てはまります。一例として GPT-4 があり、GPT-4、GPT-4o (Omni)、GPT-4o mini などのさまざまなモデルがあります。

小規模言語モデルと大規模言語モデル

SLM について議論するとき、その大きな対応物である LLM を無視することはできません。 SLM と LLM の主な違いは、パラメーターの観点から測定されるモデル サイズです。

この記事の執筆時点では、モデルに使用すべきパラメーターの最大数について AI 業界で合意はありません。 SLM と見なされるには超過するか、LLM と見なされるために必要な最小数を超えます。ただし、SLM には通常、数百万から数十億のパラメータがありますが、LLM にはさらに多く、数兆にも達します。

たとえば、2020 年にリリースされた GPT-3 には 1,750 億のパラメータがあります (そしてGPT-4 モデルは約 1 兆 7,600 億個あると噂されています)、一方、Microsoft の 2024 年の Phi-3-mini、Phi-3-small、および Phi-3-medium SLM は、それぞれ 38 億個、7 億個、140 億個のパラメーターを測定します。

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

SLM と LLM を区別するもう 1 つの要因は、トレーニングに使用されるデータの量です。 SLM は少量のデータでトレーニングされますが、LLM は大規模なデータセットを使用します。この違いは、複雑なタスクを解決するモデルの能力にも影響します。

トレーニングでは大規模なデータが使用されるため、LLM は高度な推論を必要とするさまざまなタイプの複雑なタスクを解決するのに適していますが、SLM はより単純なタスクに適しています。タスク。 LLM とは異なり、SLM は使用するトレーニング データが少なくなりますが、LLM にある機能の多くを小さなパッケージで実現するには、使用するデータの品質が高くなる必要があります。

小さな言語モデルが未来である理由

ほとんどのユースケースでは、SLM は企業や消費者がさまざまなタスクを実行するために使用する主流モデルになるのに適しています。確かに、LLM には利点があり、複雑なタスクの解決など、特定の使用例により適しています。ただし、次の理由により、ほとんどのユースケースでは SLM が将来の選択肢となります。

1. トレーニングとメンテナンスのコストが低い

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

SLM は、LLM よりもトレーニングに必要なデータが少ないため、トレーニング データ、財務、またはその両方が限られている個人および中小企業にとって、最も実行可能なオプションです。 LLM は大量のトレーニング データを必要とし、ひいてはトレーニングと実行の両方に膨大な計算リソースを必要とします。

これを大局的に考えると、OpenAI の CEO、サム アルトマンは、トレーニングに 1 億ドル以上かかったと認めました。 MITのイベントで講演中のGPT-4(Wiredによる)。別の例は、Meta の OPT-175B LLM です。 CNBC によると、Meta は 992 個の NVIDIA A100 80GB GPU を使用してトレーニングされたと述べており、そのコストは 1 台あたり約 10,000 ドルです。エネルギーや給与などの他の経費を含まない場合、コストは約 900 万ドルになります。

このような数字では、中小企業が LLM をトレーニングするのは現実的ではありません。対照的に、SLM はリソースの面で参入障壁が低く、運営コストも低いため、より多くの企業がこれを採用するでしょう。

2. パフォーマンスの向上

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

パフォーマンスももう 1 つの問題です。 SLM はそのコンパクトなサイズにより LLM に勝る領域です。 SLM は遅延が少なく、リアルタイム アプリケーションなど、より高速な応答が必要なシナリオに適しています。たとえば、デジタル アシスタントなどの音声応答システムでは、より迅速な応答が好まれます。

デバイス上で実行する (これについては後ほど説明します) ということは、リクエストがオンライン サーバーに行ったり戻ったりする必要がないことも意味します。

3. より正確

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

生成 AI に関しては、変わらないことが 1 つあります。それは、ゴミが入ってゴミが出るということです。現在の LLM は、生のインターネット データの大規模なデータセットを使用してトレーニングされています。したがって、すべての状況で正確であるとは限りません。これは ChatGPT や同様のモデルの問題の 1 つであり、AI チャットボットの発言すべてを信頼すべきではない理由です。一方、SLM は LLM よりも高品質のデータを使用してトレーニングされるため、精度が高くなります。

SLM は、特定のタスクやドメインに焦点を当てたトレーニングでさらに微調整することもでき、それらのタスクやドメインの精度が向上します。

4. オンデバイスで実行可能

Beyond LLMs: Here\'s Why Small Language Models Are the Future of AI

SLM は LLM よりも必要な計算能力が低いため、エッジ コンピューティングのケースに最適です。これらは、大きな計算能力やリソースを持たないスマートフォンや自動運転車などのエッジ デバイスに導入できます。 Google の Nano モデルはデバイス上で実行できるため、アクティブなインターネット接続がない場合でも機能します。

この機能は、企業と消費者の両方に有利な状況をもたらします。まず、ユーザー データがクラウドに送信されるのではなくローカルで処理されるため、プライバシーが確保されます。これは、スマートフォンに AI が統合され、私たちに関するほぼすべての詳細が含まれるようになるにつれて重要になります。 AI タスクを処理するために大規模なサーバーを展開して実行する必要がないため、企業にとってもメリットがあります。

SLM は、Open AI、Google、Microsoft、 Anthropic、Metaなどからはそんなモデルがリリースされています。これらのモデルは、私たちのほとんどが LLM を使用する単純なタスクにより適しています。したがって、LLM は未来です。

しかし、LLM はどこにも行きません。代わりに、医学研究など、さまざまなドメインの情報を組み合わせて新しいものを生み出す高度なアプリケーションに使用されることになります。

リリースステートメント この記事は次の場所に転載されています: https://www.makeuseof.com/why-small- language-models-are-the-future-of-ai/ 権利侵害がある場合は、[email protected] に連絡して削除してください。
最新のチュートリアル もっと>
  • Swarm Intelligence Algorithms:3つのPython実装
    Swarm Intelligence Algorithms:3つのPython実装
    Imagine watching a flock of birds in flight. There's no leader, no one giving directions, yet they swoop and glide together in perfect harmony. It may...
    AI 2025-03-24に投稿されました
  • ラグ&微調整によりLLMをより正確にする方法
    ラグ&微調整によりLLMをより正確にする方法
    Imagine studying a module at university for a semester. At the end, after an intensive learning phase, you take an exam – and you can recall th...
    AI 2025-03-24に投稿されました
  • Google Geminiとは何ですか? GoogleのChatGptのライバルについて知る必要があるすべて
    Google Geminiとは何ですか? GoogleのChatGptのライバルについて知る必要があるすべて
    Google recently released its new Generative AI model, Gemini. It results from a collaborative effort by a range of teams at Google, including members ...
    AI 2025-03-23に投稿されました
  • DSPYでのプロンプトのガイド
    DSPYでのプロンプトのガイド
    dspy:LLMアプリケーションを構築および改善するための宣言的なフレームワーク dspy(宣言的自己改善言語プログラム)は、迅速なエンジニアリングの複雑さを抽象化することにより、LLMアプリケーション開発に革命をもたらします。 このチュートリアルは、DSPYの宣言的アプローチを使用して強力な...
    AI 2025-03-22に投稿されました
  • ブログをTwitterスレッドに自動化します
    ブログをTwitterスレッドに自動化します
    この記事では、GoogleのGemini-2.0 LLM、Chromadb、およびRiremlitを使用して、長型コンテンツ(ブログ投稿など)のTwitterスレッドの魅力を自動化することを詳しく説明しています。 手動スレッドの作成には時間がかかります。このアプリケーションはプロセスを合理化します...
    AI 2025-03-11に投稿されました
  • 人工免疫系(AIS):Pythonの例を備えたガイド
    人工免疫系(AIS):Pythonの例を備えたガイド
    この記事では、脅威を特定し、中和する人間の免疫系の顕著な能力に触発された計算モデルである人工免疫システム(AIS)を探ります。 AISのコア原則を掘り下げ、クローン選択、ネガティブ選択、免疫ネットワーク理論などの重要なアルゴリズムを調べ、Pythonコードの例でそれらのアプリケーションを説明します...
    AI 2025-03-04に投稿されました
  • ChatGPT に自分自身についての楽しい質問をしてみてください
    ChatGPT に自分自身についての楽しい質問をしてみてください
    ChatGPT があなたについて何を知っているのか疑問に思ったことはありますか?時間をかけて与えられた情報をどのように処理するのでしょうか?私はさまざまなシナリオで ChatGPT ヒープを使用してきましたが、特定のインタラクションの後にそのヒープが何を言うのかを見るのは常に興味深いものです。&#x...
    AI 2024 年 11 月 22 日に公開
  • 謎の GPT-2 チャットボットをまだ試す方法は次のとおりです
    謎の GPT-2 チャットボットをまだ試す方法は次のとおりです
    AI モデルやチャットボットに興味がある場合は、謎の GPT-2 チャットボットとその有効性に関する議論を見たことがあるかもしれません。ここでは、GPT-2 チャットボットとは何か、およびその方法について説明します。 GPT-2 チャットボットとは何ですか? 2024 年 4 月下旬、gpt2-c...
    AI 2024 年 11 月 8 日に公開
  • ChatGPT のキャンバス モードは素晴らしい: 4 つの使用方法
    ChatGPT のキャンバス モードは素晴らしい: 4 つの使用方法
    ChatGPT の新しい Canvas モードは、世界をリードする生成 AI ツールでの書き込みと編集にさらなる次元を追加しました。私は ChatGPT Canvas の発売以来使用してきましたが、この新しい AI ツールを使用するためのいくつかの異なる方法を見つけました。✕ 広告の削除...
    AI 2024 年 11 月 8 日に公開
  • ChatGPT のカスタム GPT がデータを公開する仕組みとその安全性を保つ方法
    ChatGPT のカスタム GPT がデータを公開する仕組みとその安全性を保つ方法
    ChatGPT のカスタム GPT 機能を使用すると、誰でも思いつく限りのほとんどすべてのカスタム AI ツールを作成できます。クリエイティブ、テクニカル、ゲーム、カスタム GPT はすべてを行うことができます。さらに良いのは、カスタム GPT 作成を誰とでも共有できることです。 ただし、カスタ...
    AI 2024 年 11 月 8 日に公開
  • ChatGPT が LinkedIn での仕事の獲得に役立つ 10 の方法
    ChatGPT が LinkedIn での仕事の獲得に役立つ 10 の方法
    2,600 文字が利用できる LinkedIn プロフィールの About セクションは、あなたの経歴、スキル、情熱、将来の目標について詳しく説明するのに最適なスペースです。 LinkedIn の経歴を、あなたの職業上の背景、スキル、願望を簡潔にまとめたものとして表示します。 ChatGPT に...
    AI 2024 年 11 月 8 日に公開
  • ユニークなエクスペリエンスを提供する、あまり知られていない 6 つの AI アプリをチェックしてください
    ユニークなエクスペリエンスを提供する、あまり知られていない 6 つの AI アプリをチェックしてください
    現時点では、AI ブームをリードしてきた 2 つの先駆的な生成 AI アプリである ChatGPT と Copilot については、ほとんどの人が聞いたことがあるでしょう。しかし、あまり知られていない AI ツールの山が素晴らしい、ユニークな体験?ここでは最高のものを 6 つ紹介します。 1 同上ミ...
    AI 2024 年 11 月 8 日に公開
  • これらの 7 つの兆候は、AI がすでにピークに達していることを示しています
    これらの 7 つの兆候は、AI がすでにピークに達していることを示しています
    オンラインでどこを見ても、AI の使用が最良の選択肢になると宣言するサイト、サービス、アプリがあります。あなたはどうか知りませんが、常に存在していると疲れてきます。 AI は確かに私たちの日常生活に定着していますが、AI の誇大宣伝がすでにピークに達していることを示す兆候がいくつかあります。 1 一...
    AI 2024 年 11 月 8 日に公開
  • 教師、講師、上司向けの 4 つの AI チェック ChatGPT 検出ツール
    教師、講師、上司向けの 4 つの AI チェック ChatGPT 検出ツール
    ChatGPT の性能が向上するにつれて、何が人間によって書かれ、何が AI によって生成されたかを区別することがますます困難になってきています。そのため、教師や上司が、人間の手によって書かれたものと、ChatGPT を通じて生成されたものを識別することが困難になります。 違いを見分けるのが難し...
    AI 2024 年 11 月 8 日に公開
  • ChatGPT の高度な音声機能がより多くのユーザーに展開されます
    ChatGPT の高度な音声機能がより多くのユーザーに展開されます
    ChatGPT で本格的な会話をしたいと思ったことがあるなら、今ならそれが可能です。つまり、ChatGPT を使用する特権に対して料金を支払っている限りです。より多くの有料ユーザーが ChatGPT の高度な音声モード (AVM) にアクセスできるようになりました。これは、ChatGPT との対話を...
    AI 2024 年 11 月 8 日に公開

免責事項: 提供されるすべてのリソースの一部はインターネットからのものです。お客様の著作権またはその他の権利および利益の侵害がある場合は、詳細な理由を説明し、著作権または権利および利益の証拠を提出して、電子メール [email protected] に送信してください。 できるだけ早く対応させていただきます。

Copyright© 2022 湘ICP备2022001581号-3