Запуск чат-бота GPT/AI на вашем компьютере имеет ряд преимуществ по сравнению с доступом к нему через Интернет. Мы покажем, почему вам это может понадобиться, и самый простой способ настроить его в Windows.

Зачем вам нужен собственный местный чат-бот с искусственным интеллектом?

Хотя онлайн-чат-боты с искусственным интеллектом, такие как ChatGPT, доминируют и имеют доступ к огромным объемам обучающих данных и актуальной информации, есть несколько причин, по которым вы можете захотеть запустить собственного локального чат-бота на своем компьютере под управлением Windows.

Локальный запуск собственных инструментов искусственного интеллекта бесплатен и не имеет ограничений, присущих онлайн-инструментам: цензуры нет, вы можете загружать любые модели машинного обучения, адаптировать их реакции и поведение и предоставлять любые подсказки, все без ограничений (и в полной конфиденциальности). Это также хороший способ понять, как современные инструменты искусственного интеллекта большой языковой модели (LLM) работают «под капотом», особенно если вы хотите попасть в индустрию искусственного интеллекта или высоких технологий.

Вы можете найти модели практически для чего угодно: от взаимодействия вымышленных персонажей до программирования, общих знаний и многих других случаев использования, которые более общие онлайн-модели могут не охватывать.

Как разместить собственного локального чат-бота GPT в Windows

В этом руководстве будет использоваться text-generation-web-ui-docker, интерфейс с открытым исходным кодом для больших языковых моделей, который упрощает установку и с использованием LLM.

text-generation-web-ui-docker объединяет проект text-generation-web-ui с помощью Docker, что устраняет необходимость в установке и управлении всеми сложными зависимостями, которые обычно требуются локальным инструментам ИИ, сохраняя все в контейнер, отдельный для вашей системы. Единственное, что вам нужно для запуска локального чат-бота, — это ПК с Windows, поддерживающий работу Docker с использованием подсистемы Windows для Linux (WSL). Для максимальной совместимости вам также понадобится относительно новый графический процессор, в идеале — от NVIDIA.

Шаг 1. Установите Docker и приложение Windows Terminal

Контейнеры Docker похожи на виртуальные машины, поскольку содержат всю работающую систему, но они гораздо более легкие и идеально подходят для распространения приложений. и все их требования в одном, простом в установке пакете. Чтобы запустить text-generation-web-ui-docker в Docker, загрузите и установите Docker в своей системе Windows.

Docker может работать в Windows одним из двух способов: в режиме WSL или Hyper-V. WSL рекомендуется большинству пользователей, поэтому вам может потребоваться включить его перед установкой Docker.

Также рекомендуется установить приложение Windows Terminal, поскольку оно предоставляет удобный интерфейс для WSL, PowerShell и командной строки Windows.

Шаг 2. Загрузите репозиторий GitHub веб-интерфейса для генерации текста.

Чтобы загрузить text-generation-web-ui-docker, посетите его страницу GitHub. Вы можете загрузить файл «.zip», содержащий все необходимые файлы, нажав зеленую кнопку «Код», а затем нажав «Загрузить Zip» в раскрывающемся меню.

На снимке экрана ниже показано, где это найти на странице GitHub.

Извлеките загруженный ZIP-файл в отдельную папку, а затем откройте папку, содержащую разархивированные файлы. Не беспокойтесь слишком сильно о содержимом этой папки: это все движущиеся части вашего чат-бота с искусственным интеллектом, но Docker позаботится о том, чтобы все настроить за вас.

Шаг 3. Запустите веб-интерфейс создания текста

Прежде чем запускать text-generation-web-ui-docker, вам необходимо убедиться, что он настроен для оборудования вашего ПК. Отредактируйте файл docker-compose.yml, указав вариант, соответствующий вашему оборудованию: default-nvidia или default-cpu (если у вас нет совместимого графического процессора).

Затем, все еще находясь в папке, содержащей загруженные и извлеченные файлы, щелкните правой кнопкой мыши пустое место и нажмите «Открыть в терминале», чтобы открыть каталог в новом Окно PowerShell.

Прежде чем вводить следующую команду Docker в окне терминала, убедитесь, что Docker Desktop запущен:

docker compose up -d

Эта команда выполнит следующие действия:

• Выполнит docker Compose, программу, которая управляет приложениями Docker.
• Запустите контейнер с помощью команды up
• Запускает контейнер в фоновом режиме (так называемый отключенный режим, который указывается с помощью -d) Брэд Мортон / How-To Geek

  Если вы еще не запускали эту команду и необходимо загрузить приложение (вытащил), возможно, вам придется пойти и заварить чашку чая, так как это может занять некоторое время. После успешного выполнения команды вы увидите, что Docker-контейнер text-generation-web-ui-docker создан и запущен.

  Брэд Мортон / How-To Geek

  Запущенный контейнер также появится в Docker Desktop, где вы сможете останавливать, запускать его и управлять им.

  Брэд Мортон / How-To Geek

  Шаг 4. Установите модель GPT-2 из OpenAI

  Как только в Docker будет запущен и запущен текстовый генератор-web-ui-docker, Вы можете получить к нему доступ, введя адрес http://localhost:7860 в адресную строку браузера. Localhost — это адрес, который ваш компьютер использует для доступа к службам, которые он запускает сам, каждому из которых присвоен уникальный номер порта (в данном случае 7860). Вы можете увидеть, какие порты работающий контейнер Docker сделал доступными на локальном хосте, открыв его на рабочем столе Docker.

  Это более старая версия GPT, чем та, которую вы используете при использовании ChatGPT в Интернете. Следовательно, он не будет таким умным и интуитивно понятным, как вы могли бы ожидать, но он будет настраиваемым и конфиденциальным.

  Перейдите на вкладку «Модель» в веб-интерфейсе и введите openai-community/gpt2 в поле «Загрузить модель или LoRA», а затем нажмите кнопку «Загрузить». Это может занять несколько минут.

  Брэд Мортон / How-To Geek

  Нажмите значок «Обновить» в левом верхнем углу, затем выберите недавно загруженный openai-community/gpt2 в соседнем раскрывающемся меню «Модель». Наконец, нажмите кнопку «Загрузить» и подождите несколько минут, пока не увидите сообщение об успехе.

  Брэд Мортон / How-To Geek

  Эта модель работает «из коробки» и не требует регистрации. Если вы увлеклись искусственным интеллектом и хотите поэкспериментировать с различными моделями и инструментами искусственного интеллекта, вы можете найти больше на HuggingFace.

  Шаг 5. Начните использовать своего собственного чат-бота с искусственным интеллектом GPT

  Это не совсем похоже на чат-ботов с искусственным интеллектом, которые вы привыкли использовать в Интернете, которые уже настроены для общего использования и охватывают много ситуаций. Вам нужно будет указать модели, как она себя ведет, прежде чем взаимодействовать с ней, иначе ее выходные данные будут немного… неуправляемыми.

  Брэд Мортон / How-To Geek

  Ого, мальчик, хотя он и получил правильный ответ, этот чат-бот с искусственным интеллектом нуждается в некоторой доработке.

  Есть вы можете многое настроить, и поначалу это может быть немного неуклюже, но с практикой и опытом вы можете создать чат-бота, который будет специфичен для вашего использования и который будет хранить ваши данные на 100% на вашем компьютере, и это здорово. для бизнеса и других конфиденциальных случаев использования. Чтобы узнать, как настроить и обучить локального чат-бота GPT, ознакомьтесь с документацией по созданию текстового веб-интерфейса и документацией OpenAI GP2 на HuggingFace.

  Если вы хотите создавать изображения с использованием искусственного интеллекта на своем ПК с Windows, вы можете использовать Fooocus, чтобы получить более простые и немедленные результаты.