生成 AI アプリケーションの構築に役立つ素晴らしいツールがたくさんあります。ただし、新しいツールを使い始めるには、学習と練習に時間がかかります。

このため、生成 AI アプリケーションを構築するための一般的なオープンソース フレームワークの例を含むリポジトリを作成しました。

この例では、Amazon Bedrock でこれらのフレームワークを使用する方法も示しています。

リポジトリはここにあります:

https://github.com/danilop/oss-for-generative-ai

この記事の残りの部分では、私が選択したフレームワーク、リポジトリ内のサンプル コードの内容、およびこれらが実際にどのように使用できるかについて説明します。

含まれるフレームワーク

• LangChain: 言語モデルを利用したアプリケーション開発用のフレームワーク。以下の例が特徴です。

  • 基本モデルの呼び出し
  • プロンプトの連鎖
  • API の構築
  • クライアントの作成
  • チャットボットの実装
  • Bedrock エージェントの使用

• LangGraph: 大規模言語モデル (LLM) を使用してステートフルなマルチアクター アプリケーションを構築するための LangChain の拡張機能

• Haystack: 検索システムと言語モデル アプリケーションを構築するためのエンドツーエンドのフレームワーク

• LlamaIndex: LLM ベースのアプリケーション用のデータ フレームワーク。次の例があります。

  • RAG (検索拡張生成)
  • エージェントの構築

• DSPy: 大規模な言語モデルを使用して AI タスクを解決するためのフレームワーク

• RAGAS: 検索拡張生成 (RAG) パイプラインを評価するためのフレームワーク

• LiteLLM: さまざまなプロバイダーの LLM の使用を標準化するライブラリ

フレームワークの概要

ラングチェーン

言語モデルを利用したアプリケーション開発用のフレームワーク。

主な機能:

• LLM を利用したアプリケーション用のモジュール式コンポーネント
• 複雑な LLM ワークフローのためのチェーンとエージェント
• コンテキストインタラクションのための記憶システム
• さまざまなデータソースおよび API との統合

主な使用例:

• 会話型 AI システムの構築
• ドメイン固有の質問応答システムの作成
• AI を活用した自動化ツールの開発

ランググラフ

ステートフルなマルチアクターを構築するための LangChain の拡張機能。 LLM を使用したアプリケーション

主な機能:

• グラフベースのワークフロー管理
• 複雑なエージェント インタラクションの状態管理
• マルチエージェント システムを設計および実装するためのツール
• 周期的なワークフローとフィードバック ループ

主な使用例:

• 協調型 AI エージェント システムの作成
• 複雑でステートフルな AI ワークフローの実装
• AI を活用したシミュレーションとゲームの開発

干し草の山

実稼働対応の LLM アプリケーションを構築するためのオープンソース フレームワーク。

主な機能:

• 柔軟なパイプラインを備えたコンポーザブル AI システム
• マルチモーダル AI サポート (テキスト、画像、オーディオ)
• シリアル化可能なパイプラインとモニタリングにより本番環境に対応

主な使用例:

• RAG パイプラインと検索システムの構築
• 会話型 AI とチャットボットの開発
• コンテンツの生成と要約
• 複雑なワークフローを使用したエージェント パイプラインの作成

ラマインデックス

LLM を利用したアプリケーションを構築するためのデータ フレームワーク。

主な機能:

• 高度なデータの取り込みとインデックス作成
• クエリ処理と応答合成
• さまざまなデータ コネクタのサポート
• カスタマイズ可能な検索およびランキングのアルゴリズム

主な使用例:

• ナレッジベースと質問応答システムの作成
• 大規模なデータセットに対するセマンティック検索の実装
• コンテキスト認識型 AI アシスタントの構築

DSPy

宣言的で最適化可能な言語モデル プログラムを通じて AI タスクを解決するためのフレームワーク。

主な機能:

• LLM インタラクションの宣言型プログラミング モデル
• LLM プロンプトとパラメータの自動最適化
• LLM 入力/出力用の署名ベースの型システム
• 自動プロンプト改善のためのテレプロンプター (オプティマイザーになりました)

主な使用例:

• 堅牢で最適化された NLP パイプラインの開発
• 自己改善型 AI システムの作成
• LLM を使用した複雑な推論タスクの実装

ラガス

検索拡張生成 (RAG) システムの評価フレームワーク。

主な機能:

• RAG パイプラインの自動評価
• 複数の評価指標 (忠実度、コンテキストの関連性、回答の関連性)
• さまざまな種類の質問とデータセットのサポート
• 一般的な RAG フレームワークとの統合

主な使用例:

• RAG システムのパフォーマンスのベンチマーク
• RAG パイプラインの改善領域の特定
• さまざまな RAG 実装の比較

LiteLLM

複数の LLM プロバイダー用の統合インターフェイス。

主な機能:

• 100 LLM モデル用の標準​​化された API
• 自動フォールバックと負荷分散
• キャッシュと再試行メカニズム
• 使用状況の追跡と予算管理

主な使用例:

• マルチ LLM アプリケーション開発の簡素化
• モデルの冗長性とフォールバック戦略の実装
• さまざまなプロバイダーにわたる LLM の使用を管理する

結論

これらのツールを使用したかどうかを教えてください。他の人と共有したいものを見逃していませんか?ぜひリポジトリに貢献してください!