KubeCon EU 2024 中に、CNCF は初のクラウドネイティブ AI ホワイトペーパーを発表しました。この記事では、このホワイトペーパーの内容を詳細に分析します。

2024 年 3 月の KubeCon EU 中に、クラウドネイティブ コンピューティング財団 (CNCF) は、クラウドネイティブ人工知能 (CNAI) に関する最初の詳細なホワイトペーパーをリリースしました ¹。このレポートでは、クラウド ネイティブ テクノロジーと人工知能の統合の現状、課題、将来の開発の方向性を幅広く調査しています。この記事では、このホワイトペーパーの中核となる内容について詳しく説明します。

この記事は、中型 MPP プランで初めて公開されました。ミディアムユーザーの方はミディアムでフォローしてください。どうもありがとうございます。

クラウドネイティブAIとは何ですか?

クラウド ネイティブ AI とは、クラウド ネイティブ テクノロジの原則を使用して人工知能アプリケーションとワークロードを構築およびデプロイすることを指します。これには、AI アプリケーションのスケーラビリティ、再利用性、操作性を強化するために、他のクラウドネイティブ テクノロジーの中でもマイクロサービス、コンテナ化、宣言型 API、継続的インテグレーション/継続的デプロイ (CI/CD) を活用することが含まれます。

次の図は、ホワイトペーパーに基づいて再描画されたクラウドネイティブ AI のアーキテクチャを示しています。

クラウドネイティブ AI とクラウドネイティブ テクノロジーの関係

クラウドネイティブ テクノロジーは、AI アプリケーションの開発と運用をより効率的にする、柔軟でスケーラブルなプラットフォームを提供します。コンテナ化とマイクロサービス アーキテクチャを通じて、開発者はシステムの高可用性とスケーラビリティを確保しながら、AI モデルを迅速に繰り返してデプロイできます。リソースのスケジューリング、自動スケーリング、サービス検出としての Kuuch。

このホワイトペーパーでは、クラウドネイティブ AI とクラウドネイティブ テクノロジー、つまりクラウドネイティブ インフラストラクチャでの AI の実行の関係を説明する 2 つの例が提供されています。

• Hugging Face が Microsoft と協力して Azure 上で Hugging Face モデル カタログを開始²
• OpenAI Kubernetes を 7,500 ノードに拡張³

クラウドネイティブ AI の課題

AI アプリケーションに強固な基盤を提供しているにもかかわらず、AI ワークロードをクラウドネイティブ プラットフォームと統合する際には依然として課題があります。これらの課題には、データ準備の複雑さ、モデル トレーニングのリソース要件、マルチテナント環境でのモデルのセキュリティと分離の維持などが含まれます。さらに、クラウドネイティブ環境でのリソース管理とスケジューリングは大規模な AI アプリケーションにとって重要であり、効率的なモデルのトレーニングと推論をサポートするにはさらなる最適化が必要です。

クラウドネイティブ AI の開発パス

ホワイトペーパーでは、AI ワークロードをより適切にサポートするためのリソース スケジューリング アルゴリズムの改善、AI アプリケーションのパフォーマンスとセキュリティを強化するための新しいサービス メッシュ テクノロジの開発、クラウドネイティブ AI の革新と標準化の促進など、クラウドネイティブ AI のいくつかの開発パスを提案しています。オープンソース プロジェクトとコミュニティ コラボレーションによる AI テクノロジー。

クラウドネイティブ AI テクノロジーの展望

クラウドネイティブ AI には、コンテナーやマイクロサービスからサービス メッシュやサーバーレス コンピューティングに至るまで、さまざまなテクノロジーが含まれます。 Kubernetes は AI アプリケーションのデプロイと管理において中心的な役割を果たし、Istio や Envoy などのサービス メッシュ テクノロジーは堅牢なトラフィック管理とセキュリティ機能を提供します。さらに、Prometheus や Grafana などの監視ツールは、AI アプリケーションのパフォーマンスと信頼性を維持するために不可欠です。

以下は、ホワイトペーパーで提供されているクラウドネイティブ AI ランドスケープ図です。

• Kubernetes
• 火山
• 艦隊
• キュベレイ
• NVIDIA NeMo
• ユニコーン
• キュー
• 炎

分散型トレーニング

• Kubeflow トレーニング オペレーター
• パイトーチ DDP
• TensorFlow 分散
• MPI を開く
• ディープスピード
• メガトロン
• ホロヴォド
• アプラ
• …

ML サービング

• Kサーブ
• セルドン
• VLLM
• TGT
• スカイパイロット
• …

CI/CD — 配信

• Kubeflow パイプライン
• ミリフロー
• TFX
• BentoML
• MLRun
• …

データサイエンス

• ジュピター
• Kubeflow ノートブック
• PyTorch
• テンサーフロー
• アパッチ・ツェッペリン

ワークロードの可観測性

• プロメテウス
• 流入データベース
• グラファナ
• 重みとバイアス (wandb)
• オープンテレメトリ
• …

AutoML

• ハイパーオプト
• オプチュナ
• Kubeflow カティブ
• NNI
• …

ガバナンスとポリシー

• カイベルノ
• Kyverno-JSON
• OPA/ゲートキーパー
• StackRox マインダー
• …

データアーキテクチャ

• クリックハウス
• アパッチ ピノ
• アパッチドルイド
• カサンドラ
• スキュラDB
• Hadoop HDFS
• Apache HBase
• プレスト
• トリノ
• Apache Spark
• Apache フリンク
• カフカ
• パルサー
• 流体
• Memcached
• レディス
• アリュシオ
• Apache スーパーセット
• …

ベクトルデータベース

• 彩度
• ウィアビエイト
• 象限
• 松ぼっくり
• 拡張機能
• レディス
• Postgres SQL
• エラスティックサーチ
• …

モデル/LLM 可観測性

• • トルレンズ
• ラングフューズ
• ディープチェック
• OpenLLMetry
• …

結論

最後に、次の重要なポイントをまとめます:

• オープンソース コミュニティの役割 : このホワイトペーパーでは、オープンソース プロジェクトや広範なコラボレーションによるイノベーションの加速やコスト削減など、クラウドネイティブ AI の推進におけるオープンソース コミュニティの役割が示されています。
• クラウド ネイティブ テクノロジーの重要性 : クラウド ネイティブの原則に従って構築されたクラウド ネイティブ AI は、再現性と拡張性の重要性を強調しています。クラウドネイティブ テクノロジーは、特にリソースのスケジューリングとサービスのスケーラビリティにおいて、AI アプリケーションの効率的な開発および運用環境を提供します。
• 既存の課題 : クラウドネイティブ AI は多くの利点をもたらしますが、データの準備、モデル トレーニングのリソース要件、モデルのセキュリティと分離において依然として課題に直面しています。
• 今後の開発の方向性 : このホワイトペーパーでは、AI ワークロードをサポートするリソース スケジューリング アルゴリズムの最適化、パフォーマンスとセキュリティを強化する新しいサービス メッシュ テクノロジの開発、オープンソース プロジェクトとコミュニティ コラボレーションを通じた技術革新と標準化の促進などの開発パスを提案しています。 .
• 主要なテクノロジー コンポーネント : クラウドネイティブ AI に関連する主要なテクノロジーには、コンテナー、マイクロサービス、サービス メッシュ、サーバーレス コンピューティングなどが含まれます。 Kubernetes は AI アプリケーションのデプロイと管理において中心的な役割を果たし、Istio や Envoy などのサービス メッシュ テクノロジーは必要なトラフィック管理とセキュリティを提供します。

4 ^{をダウンロードしてください。}

1. ホワイトペーパー: ↩︎

2. Hugging Face が Microsoft と協力して Azure で Hugging Face モデル カタログを開始 ↩︎

3. OpenAI Kubernetes を 7,500 ノードにスケーリング: ↩︎

4. クラウドネイティブ AI ホワイトペーパー: ↩︎