GPT/AI チャットボットをインターネット上のチャットボットにアクセスするのではなく、自分のコンピューターで実行することには多くの利点があります。その理由と、Windows でセットアップする最も簡単な方法を説明します。

独自のローカル AI チャットボットが必要な理由は何ですか?

ChatGPT のようなオンライン AI チャットボットが主流であり、膨大な量のトレーニング データや最新情報にアクセスできる一方で、Windows コンピューターで独自のローカル チャットボットを実行したい理由がいくつかあります。

独自の AI ツールをローカルで実行するのは無料で、オンライン ツールの制限はありません。検閲はなく、あらゆる機械学習モデルをロードし、その応答と動作を調整し、任意のプロンプトを提供できます。制限なしで（そして完全なプライバシーで）。また、特に AI またはテクノロジー業界への参入を検討している場合、最新の大規模言語モデル (LLM) AI ツールが内部でどのように機能するかを理解するのに良い方法です。

架空のキャラクターの相互作用から、プログラミング、一般知識、およびより一般的なオンライン モデルではカバーできない可能性があるその他の多くのユースケースに至るまで、ほぼあらゆるものに対応するモデルを見つけることができます。

Windows で独自のローカル GPT チャットボットをホストする方法

このチュートリアルでは、大規模な言語モデル用のオープンソース インターフェイスである text-generation-web-ui-docker を使用します。これにより、インストールとLLM を使用します。

text-generation-web-ui-docker は、Docker を使用して text-generation-web-ui プロジェクトをバンドルします。これにより、ローカル AI ツールが通常必要とするすべての複雑な依存関係をインストールおよび管理する必要がなくなります。システムとは別のコンテナ。ローカル チャットボットを実行するために必要なのは、Windows Subsystem for Linux (WSL) を使用して実行される Docker をサポートする Windows PC だけです。互換性を最大限に高めるには、かなり新しい GPU (理想的には NVIDIA 製の GPU) も必要です。

ステップ 1: Docker と Windows ターミナル アプリをインストールする

Docker コンテナは、実行中のシステム全体が含まれるという点で仮想マシンに似ていますが、はるかに軽量であり、アプリケーションの配布に最適です。すべての要件が単一の簡単にインストールできるバンドルにまとめられています。 Docker で text-generation-web-ui-docker を実行するには、Windows システムに Docker をダウンロードしてインストールします。

Docker は、WSL モードまたは Hyper-V モードのいずれかの方法で Windows 上で実行できます。 WSL はほとんどのユーザーに推奨されるため、Docker をインストールする前に WSL を有効にする必要がある場合があります。

WSL、PowerShell、および Windows コマンド ラインに便利なインターフェイスを提供する Windows ターミナル アプリをインストールすることもお勧めします。

ステップ 2: Text Generation Web UI GitHub リポジトリをダウンロードする

text-generation-web-ui-docker をダウンロードするには、その GitHub ページにアクセスしてください。緑色の「コード」ボタンをクリックし、ドロップダウン メニューから「Download Zip」をクリックすると、必要なすべてのファイルを含む「.zip」ファイルをダウンロードできます。

以下のスクリーンショットは、GitHub ページでこれを見つける場所を示しています。

ダウンロードした ZIP ファイルを独自のフォルダーに解凍し、解凍されたファイルが含まれるフォルダーを開きます。このフォルダーの内容についてはあまり心配する必要はありません。これはすべて AI チャットボットの可動部分ですが、Docker がすべてのセットアップを処理します。

ステップ 3: テキスト生成 Web UI を起動する

text-generation-web-ui-docker を起動する前に、PC ハードウェアに合わせて構成されていることを確認する必要があります。ファイル docker-compose.yml を編集して、ハードウェアに一致するバリアント (default-nvidia またはdefault-cpu (互換性のある GPU がない場合)) を指定します。

次に、ダウンロードして抽出したファイルを含むフォルダー内で、空のスペースを右クリックし、[ターミナルで開く] をクリックして、新しいフォルダーでディレクトリを開きます。 PowerShell ウィンドウ。

次の Docker コマンドをターミナル ウィンドウに入力する前に、Docker デスクトップが実行されていることを確認してください:

docker compose up -d

このコマンドは次のことを行います:

• Docker アプリケーションを管理するプログラム docker compose を実行します
• up コマンドを使用してコンテナを起動します
• コンテナーをバックグラウンドで実行します (デタッチ モードと呼ばれ、-d で指定します) Brad Morton / How-To Geek

  このコマンドを以前に実行したことがなく、アプリケーションをダウンロードする必要がある場合（引っ張られて）少し時間がかかるかもしれないので、お茶を淹れに行ってください。コマンドの実行が正常に完了すると、text-generation-web-ui-docker Docker コンテナーが作成され、開始されたことがわかります。

  Brad Morton / How-To Geek

  実行中のコンテナは Docker Desktop にも表示され、そこで停止、起動、管理できます。

  Brad Morton / How-To Geek

  ステップ 4: OpenAI から GPT-2 モデルをインストールする

  text-generation-web-ui-docker が起動して Docker で実行されたら、ブラウザのアドレス バーにアドレス http://localhost:7860 を入力すると、アクセスできます。 Localhost は、コンピュータが自身で実行しているサービスにアクセスするために使用するアドレスで、各サービスには一意のポート番号 (この場合は 7860) が割り当てられます。 Docker デスクトップでコンテナーを開くと、実行中の Docker コンテナーがローカルホスト上でどのポートを使用できるようにしたかを確認できます。

  これは、インターネット上で ChatGPT を使用するときに得られる GPT よりも古いバージョンです。したがって、期待されるほどスマートでも直感的でもありませんが、カスタマイズ可能でプライベートです。

  Web インターフェイスの [モデル] タブに移動し、[モデルまたは LoRA をダウンロード] ボックスに「openai-community/gpt2」と入力し、[ダウンロード] ボタンをクリックします。これには数分かかる場合があります。

  Brad Morton / How-To Geek

  左上の [更新] アイコンをクリックし、隣の [モデル] ドロップダウン メニューから新しくダウンロードした openai-community/gpt2 を選択します。最後に、「ロード」ボタンをクリックし、成功メッセージが表示されるまで数分間待ちます。

  Brad Morton / How-To Geek

  このモデルは箱から出してすぐに機能し、サインアップは必要ありません。 AI に興味を持ち、さまざまなモデルや AI ツールを試してみたい場合は、HuggingFace で詳細を見つけることができます。

  ステップ 5: カスタム GPT AI チャットボットの使用を開始する

  これは、オンラインで使い慣れている AI チャットボットとはまったく異なります。AI チャットボットは、さまざまな機能をカバーする一般的な使用のためにすでにセットアップされています。たくさんの状況。モデルと対話する前に、どのように動作するかをモデルに伝える必要があります。そうしないと、出力が少し不安定になってしまいます。

  Brad Morton / How-To Geek

  おや、正解は得られましたが、この AI チャットボットには少し微調整が必​​要です。

  調整できる部分が多く、最初は少し扱いに​​くいかもしれませんが、練習と経験を積めば、自分の用途に特化したチャットボットを構築でき、データを自分のコンピュータ上に 100% 保持することができます。これは素晴らしいことです。ビジネスやその他の機密の使用例に。ローカル GPT チャットボットを構成およびトレーニングする方法については、HuggingFace の text-generation-web-ui ドキュメントと OpenAI GP2 ドキュメントを確認してください。

  Windows PC から AI を使用して画像を生成したい場合は、Fooocus を使用すると、より簡単かつ即時に結果を得ることができます。