AI が私たちの働き方やテクノロジーとの関わり方を形作り続ける中、多くの企業がインテリジェント アプリケーション内で自社のデータを活用する方法を模索しています。 ChatGPT や Azure OpenAI などのツールを使用したことがある場合は、生成 AI がどのようにプロセスを改善し、ユーザー エクスペリエンスを向上させることができるかについてはすでにご存知でしょう。ただし、真にカスタマイズされた関連性の高い応答を得るには、アプリケーションに独自のデータを組み込む必要があります。

ここで、検索拡張生成 (RAG) が登場します。これは、データ検索と AI を活用した応答を統合するための構造化されたアプローチを提供します。 LlamaIndex のようなフレームワークを使用すると、この機能をソリューションに簡単に組み込むことができ、ビジネス データの可能性を最大限に引き出すことができます。

アプリをすぐに実行して探索したいですか?ここをクリック。

RAG (検索拡張生成) とは何ですか?

検索拡張生成 (RAG) は、関連情報にアクセスし、独自のデータを統合するための検索コンポーネントを組み込むことで AI テキスト生成を強化するニューラル ネットワーク フレームワークです。これは 2 つの主要部分で構成されます:

• Retriever: 大量の文書コーパスを検索して、指定されたクエリに関連する関連する文章や情報を見つける高密度の検索モデル (例: BERT に基づく)。
• ジェネレーター: クエリと取得したテキストを入力として受け取り、一貫したコンテキストを強化した応答を生成するシーケンスツーシーケンス モデル (例: BART または T5 に基づく)。

取得者は関連するドキュメントを見つけ、ジェネレータはそれらを使用してより正確で有益な応答を作成します。この組み合わせにより、RAG モデルは外部の知識を効果的に活用でき、生成されるテキストの品質と関連性が向上します。

LlamaIndex は RAG をどのように実装しますか?

LlamaIndex を使用して RAG システムを実装するには、次の一般的な手順に従います:

データの取り込み:

• SimpleDirectoryReader などのドキュメント ローダーを使用して、ドキュメントを LlamaIndex.ts にロードします。これは、PDF、API、SQL データベースなどのさまざまなソースからデータをインポートするのに役立ちます。
• SentenceSplitter を使用して、大きなドキュメントを小さく管理しやすいチャンクに分割します。

インデックスの作成:

• VectorStoreIndex を使用してこれらのドキュメント チャンクのベクトル インデックスを作成し、埋め込みに基づいた効率的な類似性検索を可能にします。
• オプションで、複雑なデータセットの場合は、再帰的取得手法を使用して階層構造のデータを管理し、ユーザーのクエリに基づいて関連セクションを取得します。

クエリ エンジンのセットアップ:

• asQueryEngine を、similarityTopK などのパラメータとともに使用して、ベクトル インデックスをクエリ エンジンに変換し、取得する上位ドキュメントの数を定義します。
• より高度な設定の場合は、各エージェントが特定のドキュメントを担当し、トップレベルのエージェントが全体的な取得プロセスを調整するマルチエージェント システムを作成します。

取得と生成:

• ユーザーのクエリに基づいて関連するドキュメント チャンクを取得する目的関数を定義して、RAG パイプラインを実装します。
• RetrieverQueryEngine を使用して、実際の取得とクエリ処理を実行します。オプションで、CohereRerank などのツールを使用して取得したドキュメントを再ランク付けするなどの後処理ステップも実行します。

実践的な例として、Azure OpenAI を使用した完全な RAG 実装を示すサンプル アプリケーションを提供しました。

実践的な RAG サンプル アプリケーション

ここでは、LlamaIndex.ts (LlamaIndex の TypeScipt 実装) と Azure OpenAI を使用して RAG アプリケーションを構築し、それを Azure Container Apps 上のサーバーレス Web アプリとしてデプロイすることに焦点を当てます。

サンプルを実行するための要件

• Azure Developer CLI (azd): バックエンド、フロントエンド、データベースを含むアプリ全体を簡単にデプロイするコマンドライン ツール。
• Azure アカウント: アプリケーションをデプロイするには Azure アカウントが必要です。まずは、クレジット付きの無料の Azure アカウントを取得してください。

GitHub で入門プロジェクトを見つけることができます。必要に応じて自由に編集できるように、このテンプレートをフォークすることをお勧めします:

上位レベルのアーキテクチャ

入門プロジェクト アプリケーションは、次のアーキテクチャに基づいて構築されています:

• Azure OpenAI: ユーザーのクエリを処理する AI プロバイダー。
• LlamaIndex.ts: コンテンツ (PDF) の取り込み、変換、ベクトル化と検索インデックスの作成を支援するフレームワーク。
• Azure Container Apps: サーバーレス アプリケーションがホストされるコンテナー環境。
• Azure マネージド ID: 最高のセキュリティを確保し、資格情報や API キーを処理する必要がなくなります。

デプロイされるリソースの詳細については、すべてのサンプルで利用可能な infra フォルダーを確認してください。

ユーザーワークフローの例

サンプル アプリケーションには 2 つのワークフローのロジックが含まれています:

1. データ取り込み: データがフェッチされ、ベクトル化され、検索インデックスが作成されます。 PDF や Word ファイルなどのファイルをさらに追加したい場合は、ここに追加する必要があります。
   

     npm run generate
   

2. プロンプト リクエストの処理: アプリはユーザー プロンプトを受信し、Azure OpenAI に送信し、ベクトル インデックスを取得者として使用してこれらのプロンプトを拡張します。

サンプルの実行

サンプルを実行する前に、必要な Azure リソースがプロビジョニングされていることを確認してください。

GitHub コードスペースで GitHub テンプレートを実行するには、
をクリックするだけです。

Codespaces インスタンスで、端末から Azure アカウントにサインインします:

azd auth login

単一のコマンドを使用してサンプル アプリケーションをプロビジョニング、パッケージ化し、Azure にデプロイします:

azd up

アプリケーションをローカルで実行して試すには、npm の依存関係をインストールしてアプリを実行します:

npm install
npm run dev

アプリは、Codespaces インスタンスのポート 3000、またはブラウザの http://localhost:3000 で実行されます。

結論

このガイドでは、LlamaIndex.ts と Azure OpenAI を使用して、Microsoft Azure にデプロイされたサーバーレス RAG (Retrieval-Augmented Generation) アプリケーションを構築する方法を説明しました。このガイドに従うことで、Azure のインフラストラクチャと LlamaIndex の機能を活用して、データに基づいてコンテキストに応じて強化された応答を提供する強力な AI アプリケーションを作成できます。

この入門用アプリケーションで皆さんが何を構築するか楽しみにしています。最新のアップデートや機能を受け取るには、自由にフォークして GitHub リポジトリに「いいね！」してください。