「労働者が自分の仕事をうまくやりたいなら、まず自分の道具を研ぎ澄まさなければなりません。」 - 孔子、「論語。陸霊公」
表紙 > AI > AI ツールのトレーニング データが不足していますが、解決策は 6 つあります

AI ツールのトレーニング データが不足していますが、解決策は 6 つあります

2024 年 7 月 29 日に公開
ブラウズ:589

人工知能にはトレーニング データが必要ですが、そのデータは限られています。では、AI が成長し続けて私たちに役立つように、他にどのように AI をトレーニングできるのでしょうか?

インターネットとそのデータは無尽蔵のリソースだと思うかもしれませんが、AI ツールではマイニングできるデータが不足しつつあります。心配する前に、AI 開発が止まることはありません。AI システムをトレーニングする準備ができているデータはまだたくさんあります。

1 オンラインでは常に追加データが存在します

つまり、AI 研究機関エポック社は、AI のトレーニングに使用される高品質のデータが 2026 年までに枯渇する可能性があると言っています。

そこでのキーワードは「できる」です。インターネットに追加されるデータの量は毎年増加しているため、2026 年までに何か劇的な変化が起こる可能性があります。それでも、これは妥当な推定値です。いずれにせよ、AI システムはある時点で適切なデータを使い果たしてしまいます。

ただし、毎年約 147 ゼタバイトのデータがオンラインに追加されていることを覚えておく必要があります (Exploding Topics による)。わずか 1 ゼタバイトは、1,000,000,000,000,000,000,000 ビットのデータに相当します。現実に換算すると (まあ、ある程度現実的ですが)、これは 300 億本以上の 4K 映画に相当します (現実的ではありますが、計り知れません)。 AIがふるいにかけるべき情報は驚くべき量だ。

それにもかかわらず、AI は人類が作成するよりも速くデータを消費します…

2 AI は低品質のデータを忘れる可能性があります

AI Tools Are Running Out of Training Data, but There Are 6 Solutions

147 ゼタバイトのデータすべてが良いわけではありませんもちろんデータです。目に見える以上のことがたくさんあります。しかし、AI は 2050 年までに低品質の言語データも使い果たしてしまうと推定されています。

ロイターは、かつて世界最大の画像リポジトリの 1 つであった Photobucket が、自社の広範なライブラリを AI トレーニング会社にライセンス供与する交渉を行っていると報じた。 DALL-E や Midjourney などのシステムは画像データで訓練されていますが、それさえも 2060 年までに枯渇する可能性があります。ここにはさらに大きな問題もあります。Photobucket には、Myspace などの 2000 年代のソーシャル メディア プラットフォームからの画像が格納されており、それらはそれほど高い標準ではないことを意味します。現在の写真撮影。これにより、データの品質が低下します。

Photobucket だけではありません。 2024年2月、GoogleはRedditと契約を結び、検索大手がAIトレーニングでソーシャルメディアプラットフォームのユーザーデータを使用することを許可した。他のソーシャル メディア プラットフォームも、AI トレーニングの目的でユーザー データを提供しています。 Meta の Llama など、社内 AI モデルのトレーニングにこれを使用している企業もあります。

ただし、一部の情報は低品質のデータから収集できる一方で、Microsoft は AI がデータを選択的に「学習解除」する方法を開発していると伝えられています。これは主に IP の問題に使用されますが、ツールが低品質のデータセットから学習したことを忘れてしまう可能性があることも意味します。

選択しすぎずに、より多くのデータを AI に供給できます。これらの AI システムは、学習するのに最も有益なものを選択できるようになります。

3 音声認識によりビデオとポッドキャスト データが開かれる

AI ツールに供給されるデータは、これまでのところ主にテキストで構成されており、程度は低いですが画像で構成されています。音声認識ソフトウェアが利用できる豊富なビデオやポッドキャストが AI をトレーニングできることを意味するため、この状況は間違いなく変わるでしょうし、おそらくすでに変わっているでしょう。

特に、OpenAI は、680,000 時間の多言語およびマルチタスク データを使用して、オープンソースの自動音声認識 (ASR) ニューラル ネットワーク、Whisper を開発しました。 OpenAI はその後、YouTube 動画から 100 万時間以上の情報をその大規模言語モデル GPT-4 にフィードしました。

これは、音声認識を使用して多数のソースからビデオやオーディオを転写し、そのデータを AI モデルを通じて実行する他の A​​I システムにとって理想的なテンプレートです。

Statista によると、毎分 500 時間以上のビデオが YouTube にアップロードされており、この数字は 2019 年以来ほぼ安定しています。これは、Dailymotion や Podbean などの他のビデオおよびオーディオ プラットフォームには言及しません。 AI がこのような新しいデータセットに注意を向けることができれば、まだ膨大な量の情報がマイニングされることになります。

4 つの AI は主に英語に固執している

ウィスパーから学べるのはそれだけではありません。 OpenAI は、117,000 時間の英語以外の音声データを使用してモデルをトレーニングしました。多くの AI システムは主に英語を使用して、または西洋のレンズを通して他文化を見ることを使用してトレーニングされているため、これは特に興味深いです。

本質的に、ほとんどのツールは作成者の文化によって制限されます。

ChatGPT を例に挙げます。 2022 年のリリース直後、ノルウェーのベルゲン大学デジタル文化教授のジル ウォーカー レットバーグ氏は ChatGPT を試して次のように結論付けました。というか、ノルウェー文化について知っていることはおそらくほとんどが英語の情報源から学んだものだと思われます… ChatGPT は明らかに米国の価値観と法律に準拠しています。多くの場合、これらはノルウェーやヨーロッパの価値観に近いですが、おそらく常にそうとは限りません。」

AI は、多国籍の人々と交流するほど、またはそのようなシステムを訓練するためにより多様な言語や文化が使用されるほど、発達する可能性があります。現在、多くの人工知能は単一のライブラリに閉じ込められています。世界中の図書館への鍵が与えられれば、彼らは成長することができます。

5 つの出版社は AI の開発を支援できる

IP は明らかに大きな問題ですが、一部の出版社はライセンス契約を結ぶことで AI の開発を支援できる可能性があります。これは、オンライン ソースから収集した潜在的に低品質の情報ではなく、書籍からの高品質、つまり信頼できるデータをツールに提供することを意味します。

AI Tools Are Running Out of Training Data, but There Are 6 Solutions 実際、Facebook、Instagram、WhatsApp のオーナーである Meta は、「ビッグ 5」出版社の 1 つである Simon & Schuster の買収を検討していたと伝えられています。そのアイデアは、同社が発行した文献を使用して Meta 独自の AI をトレーニングすることでした。この契約は最終的には失敗に終わりました。これはおそらく、作家からの事前の同意なしに IP を処理する会社の倫理的なグレーゾーンが原因でした。

明らかに検討されたもう 1 つの選択肢は、新しいタイトルの個別のライセンス権を購入することでした。これはクリエイティブにとって大きな懸念を引き起こすはずですが、使用可能なデータが枯渇したとしても、AI ツールを開発する興味深い方法であることに変わりはありません。

6 合成データは未来

他のソリューションはまだ限られていますが、AI が遠い将来にまで繁栄する可能性がある選択肢の 1 つが合成データです。そして、それは非常に現実的な可能性としてすでに調査されています。

では、合成データとは何でしょうか?この意味では、それは AI によって作成されたデータです。人間がデータを作成するのと同じように、この方法では人工知能がトレーニング目的でデータを生成します。

実際、AI は説得力のあるディープフェイク動画を作成できる可能性があります。そのディープフェイクビデオはAIにフィードバックされ、本質的に想像上のシナリオから学習できるようになる可能性がある。結局のところ、これは人間が学習する主要な方法の 1 つであり、私たちは周囲の世界を理解するために何かを読んだり見たりするのです。

AI はすでに合成情報を消費している可能性があります。オンラインで流通するディープフェイクは誤った情報や偽情報を広めるため、AI システムがインターネットをスキャンする際に、一部の人が偽のコンテンツの対象となるのは当然です。

はい、これには陰湿な側面があります。また、AI に損害を与えたり制限したりして、それらのツールによる間違いを強化したり広めたりする可能性もあります。企業は後者の問題を根絶するために取り組んでいます。それでも、「AI が互いに学習し、エラーを起こす」というのは、多くの SF の悪夢のようなシナリオのプロット ポイントです。

7

AI については議論の余地があります。それには多くの欠点がありますが、中傷者はその利点を無視します。たとえば、監査および諮問ネットワークの PwC [PDF] は、AI が 2030 年までに世界経済に最大 15 兆 7000 億ドル貢献する可能性があると示唆しています。

さらに、AI はすでに世界中で使用されています。おそらく今日、あなたも気づかずに、何らかの形でこの言葉を使用したことがあるでしょう。魔神がボトルから出てきた今、重要なのは、それを適切に利用できるように、信頼できる質の高いデータに基づいて魔神を訓練することです。

AI には良い点もあれば悪い点もあります。バランスを見つける必要があります。

リリースステートメント この記事は次の場所に転載されています: https://www.makeuseof.com/ai-running-out-training-data-solutions/ 侵害がある場合は、[email protected] に連絡して削除してください。
最新のチュートリアル もっと>
  • 8 LLMの本質的な無料および有料API推奨事項
    8 LLMの本質的な無料および有料API推奨事項
    LLMSの力の活用:大規模な言語モデルのAPIのガイド 今日のダイナミックなビジネスランドスケープでは、API(アプリケーションプログラミングインターフェイス)がAI機能の統合と利用方法に革命をもたらしています。 それらは重要な橋として機能し、大規模な言語モデル(LLM)を多様なソフトウェアエコ...
    AI 2025-04-21に投稿されました
  • ユーザーガイド:FALCON 3-7B指示モデル
    ユーザーガイド:FALCON 3-7B指示モデル
    TIIのファルコン3:オープンソースの革新的な飛躍ai TIIのAIの再定義の野心的な追求は、Advanced Falcon 3モデルで新たな高みに達します。 この最新のイテレーションは、新しいパフォーマンスベンチマークを確立し、オープンソースAIの機能を大幅に進めます。 Falcon 3...
    AI 2025-04-20に投稿しました
  • deepseek-v3対gpt-4oおよびllama 3.3 70b:明らかにされた最強のAIモデル
    deepseek-v3対gpt-4oおよびllama 3.3 70b:明らかにされた最強のAIモデル
    The evolution of AI language models has set new standards, especially in the coding and programming landscape. Leading the c...
    AI 2025-04-18に投稿されました
  • トップ5 AIインテリジェントな予算編成ツール
    トップ5 AIインテリジェントな予算編成ツール
    AIで金融の自由のロックを解除:インドのトップ予算編成アプリ あなたはあなたのお金がどこに行くのか絶えず疑問に思ってうんざりしていますか? 法案はあなたの収入をむさぼり食うようですか? 人工知能(AI)は強力なソリューションを提供します。 AI予算編成ツールは、リアルタイムの財務洞察、パーソナ...
    AI 2025-04-17に投稿されました
  • Excel Sumproduct機能の詳細な説明 - データ分析学校
    Excel Sumproduct機能の詳細な説明 - データ分析学校
    Excelの等式関数:データ分析Powerhouse 合理化されたデータ分析のためのExcelの等式関数の力のロックを解除します。この汎用性のある関数は、合計と乗算機能を簡単に組み合わせて、対応する範囲または配列全体の追加、減算、および分割に拡張します。 傾向を分析するか、複雑な計算に取り組む...
    AI 2025-04-16に投稿されました
  • 詳細な調査は完全にオープンで、ChatGptとユーザーの利点があります
    詳細な調査は完全にオープンで、ChatGptとユーザーの利点があります
    Openaiの深い研究:AI研究のためのゲームチェンジャー Openaiは、すべてのChatGPTと加入者の深い研究を解き放ち、研究効率の大幅な後押しを約束しています。 Gemini、Grok 3、Perplexityなどの競合他社から同様の機能をテストした後、Openaiの深い研究を優れた選...
    AI 2025-04-16に投稿されました
  • Amazon Nova Today Real Experience and Review -AnalyticsVidhya
    Amazon Nova Today Real Experience and Review -AnalyticsVidhya
    AmazonがNovaを発表する:強化されたAIおよびコンテンツ作成のための最先端の基礎モデル Amazonの最近のRe:Invent 2024イベントは、AIとコンテンツの作成に革命をもたらすように設計された、最も高度な基礎モデルのスイートであるNovaを紹介しました。この記事では、Novaの...
    AI 2025-04-16に投稿されました
  • ChatGPTタイミングタスク関数を使用する5つの方法
    ChatGPTタイミングタスク関数を使用する5つの方法
    ChatGptの新しいスケジュールされたタスク:ai で一日を自動化する ChatGptは最近、ゲームを変える機能:スケジュールされたタスクを導入しました。 これにより、ユーザーはオフライン中であっても、所定の時期に通知または応答を受信して​​、繰り返しプロンプトを自動化できます。毎日のキュレ...
    AI 2025-04-16に投稿されました
  • 3つのAIチャットボットのうち、同じプロンプトに応答するのはどれですか?
    3つのAIチャットボットのうち、同じプロンプトに応答するのはどれですか?
    Claude、ChatGpt、Geminiなどのオプションを使用して、チャットボットを選択すると圧倒的に感じることができます。ノイズを切り抜けるために、同一のプロンプトを使用して3つすべてをテストに入れて、どちらが最良の応答を提供するかを確認します。すべてのツールと同様に、出力はそれを使用す...
    AI 2025-04-15に投稿されました
  • chatgptで十分で、専用のAIチャットマシンは必要ありません
    chatgptで十分で、専用のAIチャットマシンは必要ありません
    新しいAIチャットボットが毎日起動している世界では、どちらが正しい「1つ」であるかを決定するのは圧倒的です。しかし、私の経験では、CHATGPTは、プラットフォーム間を切り替える必要なく、私が投げたすべてのものを、少し迅速なエンジニアリングで処理します。 スペシャリストAIチャットボットは、多く...
    AI 2025-04-14に投稿されました
  • インドのAIの瞬間:生成AIにおける中国と米国との競争
    インドのAIの瞬間:生成AIにおける中国と米国との競争
    インドのAI野心:2025アップデート 中国と米国が生成AIに多額の投資をしているため、インドは独自のGenaiイニシアチブを加速しています。 インドの多様な言語的および文化的景観に対応する先住民族の大手言語モデル(LLMS)とAIツールの緊急の必要性は否定できません。 この記事では、インドの急...
    AI 2025-04-13に投稿されました
  • 気流とDockerを使用してCSVのインポートをPostgreSQLに自動化する
    気流とDockerを使用してCSVのインポートをPostgreSQLに自動化する
    このチュートリアルは、Apache Airflow、Docker、およびPostgreSQLを使用して堅牢なデータパイプラインを構築して、CSVファイルからデータベースへのデータ転送を自動化することを示しています。 効率的なワークフロー管理のために、DAG、タスク、演算子などのコアエアフローの概念...
    AI 2025-04-12に投稿されました
  • Swarm Intelligence Algorithms:3つのPython実装
    Swarm Intelligence Algorithms:3つのPython実装
    Imagine watching a flock of birds in flight. There's no leader, no one giving directions, yet they swoop and glide together in perfect harmony. It may...
    AI 2025-03-24に投稿されました
  • ラグ&微調整によりLLMをより正確にする方法
    ラグ&微調整によりLLMをより正確にする方法
    Imagine studying a module at university for a semester. At the end, after an intensive learning phase, you take an exam – and you can recall th...
    AI 2025-03-24に投稿されました
  • Google Geminiとは何ですか? GoogleのChatGptのライバルについて知る必要があるすべて
    Google Geminiとは何ですか? GoogleのChatGptのライバルについて知る必要があるすべて
    Google recently released its new Generative AI model, Gemini. It results from a collaborative effort by a range of teams at Google, including members ...
    AI 2025-03-23に投稿されました

免責事項: 提供されるすべてのリソースの一部はインターネットからのものです。お客様の著作権またはその他の権利および利益の侵害がある場合は、詳細な理由を説明し、著作権または権利および利益の証拠を提出して、電子メール [email protected] に送信してください。 できるだけ早く対応させていただきます。

Copyright© 2022 湘ICP备2022001581号-3