我在 Windows 中运行自定义 GPT 聊天机器人：原因及操作方法如下

首页 > 软件教程 > 我在 Windows 中运行自定义 GPT 聊天机器人：原因及操作方法如下

我在 Windows 中运行自定义 GPT 聊天机器人：原因及操作方法如下

发布于2024-08-16

在您自己的计算机上运行 GPT/AI 聊天机器人比在互联网上访问聊天机器人有很多优势。我们将向您展示为什么您可能想要这样做，以及在 Windows 上进行设置的最简单方法。

为什么您想要自己的本地人工智能聊天机器人？

虽然像 ChatGPT 这样的在线 AI 聊天机器人占据主导地位，并且可以访问大量训练数据和最新信息，但出于多种原因，您可能希望在 Windows 计算机上运行自己的本地聊天机器人。

在本地运行您自己的人工智能工具是免费的，并且不受在线工具的限制：没有审查制度，您可以加载任何机器学习模型，定制它们的响应和行为，并提供任何提示，所有不受限制（并且完全隐私）。这也是了解现代大语言模型 (LLM) AI 工具在幕后如何工作的好方法，特别是如果您想进入 AI 或科技行业。

您可以找到几乎任何事物的模型，从虚构的角色交互到编程，再到常识，以及更通用的在线模型可能无法涵盖的许多其他用例。

如何在 Windows 上托管您自己的本地 GPT 聊天机器人

本教程将使用 text- Generation-web-ui-docker，这是一个用于大型语言模型的开源接口，可简化安装和部署使用法学硕士。

text- Generation-web-ui-docker 使用 Docker 捆绑了 text- Generation-web-ui 项目，通过将所有内容存储在本地 AI 工具中，无需安装和管理本地 AI 工具通常需要的所有复杂依赖项与您的系统分开的容器。运行本地聊天机器人唯一需要的是一台支持使用 Windows Linux 子系统 (WSL) 运行 Docker 的 Windows PC。您还需要一个相当新的 GPU，最好是 NVIDIA 的 GPU，以获得最大的兼容性。

第 1 步：安装 Docker 和 Windows 终端应用程序

Docker 容器与虚拟机类似，因为它们包含整个运行系统，但它们更加轻量级，非常适合分发应用程序以及他们的所有要求都集中在一个易于安装的捆绑包中。要在 Docker 中运行 text- Generation-web-ui-docker，请在 Windows 系统上下载并安装 Docker。

Docker 可以通过以下两种方式之一在 Windows 上运行：WSL 或 Hyper-V 模式。建议大多数用户使用 WSL，因此您可能需要在安装 Docker 之前启用它。

还建议安装 Windows 终端应用程序，因为它为 WSL、PowerShell 和 Windows 命令行提供了方便的界面。

步骤 2：下载文本生成 Web UI GitHub 存储库

要下载 text- Generation-web-ui-docker，请访问其 GitHub 页面。您可以通过单击绿色“代码”按钮，然后从下拉菜单中单击“下载 Zip”，下载包含所需所有文件的“.zip”文件。

下面的屏幕截图显示了在 GitHub 页面上可以找到此内容的位置。

I Run a Custom GPT Chatbot in Windows: Here’s Why and How to Do It

Brad Morton / How-To Geek

将下载的 ZIP 文件解压缩到其自己的文件夹中，然后打开包含解压缩文件的文件夹。不必太担心此文件夹的内容：它是 AI 聊天机器人的所有移动部件，但 Docker 会为您做好一切设置。

步骤 3：启动文本生成 Web UI

在启动 text- Generation-web-ui-docker 之前，您需要确保它已针对您的 PC 硬件进行配置。编辑文件 docker-compose.yml 以指定与您的硬件匹配的变体：default-nvidia 或 default-cpu（如果您没有兼容的 GPU）。

Brad Morton / How-To Geek

然后，仍然在包含下载和解压文件的文件夹中，右键单击空白区域，然后单击“在终端中打开”以在新窗口中打开该目录PowerShell 窗口。

Brad Morton / How-To Geek

在终端窗口中输入以下 Docker 命令之前，请确保 Docker Desktop 正在运行：

docker compose up -d

该命令将执行以下操作：

执行 docker compose，管理 Docker 应用程序的程序
使用 up 命令启动容器
在后台运行容器（称为分离模式，由 -d 指定） Brad Morton / How-To Geek
如果您之前没有运行过此命令并且需要下载应用程序（拉），你可能需要去泡杯茶，因为这可能需要一段时间。命令成功运行后，您将看到 text- Generation-web-ui-docker Docker 容器已创建并启动。
Brad Morton / How-To Geek
正在运行的容器也会出现在 Docker Desktop 中，您可以在其中停止、启动和管理它。
Brad Morton / How-To Geek
第 4 步：从 OpenAI 安装 GPT-2 模型
一旦 text- Generation-web-ui-docker 在 Docker 中启动并运行，您可以通过在浏览器地址栏中输入地址 http://localhost:7860 来访问它。本地主机是您的计算机用于访问其本身运行的服务的地址，每个服务都分配有一个唯一的端口号（在本例中为 7860）。您可以通过在 Docker 桌面中打开正在运行的 Docker 容器来查看在本地主机上可用的端口。

这是比您在互联网上使用 ChatGPT 时获得的 GPT 版本旧的版本。因此，它不会像您期望的那样智能或直观，但它是可定制的和私密的。

导航到 Web 界面中的“模型”选项卡，然后在“下载模型或 LoRA”框中输入 openai-community/gpt2，然后单击“下载”按钮。这可能需要几分钟。
Brad Morton / How-To Geek
单击左上角的刷新图标，然后从相邻的模型下拉菜单中选择新下载的 openai-community/gpt2。最后，单击“加载”按钮，并等待几分钟，直到看到成功消息。
Brad Morton / How-To Geek
该模型开箱即用，不需要任何注册。当您进入人工智能领域并想要尝试不同的模型和人工智能工具时，您可以在 HuggingFace 上找到更多信息。
第 5 步：开始使用您的自定义 GPT AI 聊天机器人
这与您习惯在线使用的 AI 聊天机器人不太一样，它们已经设置为通用用途，涵盖很多情况。在与模型交互之前，您需要告诉模型如何表现，否则它的输出会有点......精神错乱。
Brad Morton / How-To Geek
天哪，虽然它得到了正确的答案，但这个人工智能聊天机器人需要一些微调。

有您可以进行很多调整，一开始可能会有点笨拙，但通过实践和经验，您可以构建一个特定于您自己的使用情况的聊天机器人，并且将您的数据 100% 保留在您自己的计算机上，这很棒适用于商业和其他机密用例。要了解如何配置和训练本地 GPT 聊天机器人，请查看 HuggingFace 上的 text- Generation-web-ui 文档和 OpenAI GP2 文档。
如果您想在 Windows PC 上使用 AI 生成图像，您可以使用 Fooocus 来获得更简单、更直接的结果。