Hay una serie de ventajas al ejecutar un chatbot GPT/AI en su propia computadora en lugar de acceder a uno en Internet. Le mostraremos por qué es posible que desee hacerlo y la forma más sencilla de configurarlo en Windows.

¿Por qué querrías tu propio chatbot de IA local?

Si bien los chatbots de IA en línea como ChatGPT son dominantes, con acceso a enormes cantidades de datos de entrenamiento e información actualizada, existen algunas razones por las que quizás quieras ejecutar tu propio chatbot local en tu computadora con Windows.

Ejecutar sus propias herramientas de IA localmente es gratis y no tiene las restricciones de las herramientas en línea: no hay censura y puede cargar cualquier modelo de aprendizaje automático, adaptar sus respuestas y comportamiento, y proporcionar cualquier mensaje, todo sin restricciones (y en total privacidad). También es una buena manera de comprender cómo funcionan internamente las modernas herramientas de inteligencia artificial de modelos de lenguaje grande (LLM), especialmente si está buscando ingresar a la industria de la tecnología o la inteligencia artificial.

Puede encontrar modelos para casi cualquier cosa, desde interacciones con personajes ficticios hasta programación, conocimiento general y muchos otros casos de uso que los modelos en línea más generales pueden no cubrir.

Cómo alojar su propio chatbot GPT local en Windows

Este tutorial utilizará text-spawn-web-ui-docker, una interfaz de código abierto para modelos de lenguaje grandes, que simplifica la instalación y utilizando LLM.

text-generación-web-ui-docker incluye el proyecto text-generación-web-ui usando Docker, lo que elimina la necesidad de instalar y administrar todas las dependencias complejas que las herramientas locales de IA generalmente requieren al almacenar todo en un contenedor separado de su sistema. Lo único que necesita para ejecutar su chatbot local es una PC con Windows que admita la ejecución de Docker mediante el subsistema de Windows para Linux (WSL). También necesitarás una GPU bastante reciente, idealmente una de NVIDIA, para obtener la máxima compatibilidad.

Paso 1: Instalar Docker y la aplicación Windows Terminal

Los contenedores Docker son similares a las máquinas virtuales en el sentido de que contienen un sistema completo en ejecución, pero son mucho más livianos y perfectos para distribuir aplicaciones. y todos sus requisitos en un paquete único y fácil de instalar. Para ejecutar text-generation-web-ui-docker en Docker, descargue e instale Docker en su sistema Windows.

Docker se puede ejecutar en Windows de dos maneras: modo WSL o Hyper-V. Se recomienda WSL para la mayoría de los usuarios, por lo que es posible que deba habilitarlo antes de instalar Docker.

También se recomienda instalar la aplicación Windows Terminal, ya que proporciona una interfaz conveniente para WSL, PowerShell y la línea de comandos de Windows.

Paso 2: Descargue el repositorio de GitHub de la interfaz de usuario web de generación de texto

Para descargar text-spawn-web-ui-docker, visite su página de GitHub. Puede descargar un archivo ".zip" que contiene todos los archivos que necesita haciendo clic en el botón verde "Código" y luego haciendo clic en "Descargar Zip" en el menú desplegable.

La siguiente captura de pantalla muestra dónde encontrarlo en la página de GitHub.

Extraiga el archivo ZIP descargado en su propia carpeta y luego abra la carpeta que contiene los archivos descomprimidos. No se preocupe demasiado por el contenido de esta carpeta: son todas las partes móviles de su chatbot de IA, pero Docker se encargará de configurar todo por usted.

Paso 3: Inicie la interfaz de usuario web de generación de texto

Antes de iniciar text-spawn-web-ui-docker, debe asegurarse de que esté configurado para el hardware de su PC. Edite el archivo docker-compose.yml para especificar la variante que coincida con su hardware: default-nvidia o default-cpu (si no tiene una GPU compatible).

Luego, aún en la carpeta que contiene los archivos descargados y extraídos, haga clic derecho en un espacio vacío y haga clic en "Abrir en Terminal" para abrir el directorio en una nueva Ventana de PowerShell.

Asegúrese de que Docker Desktop se esté ejecutando antes de escribir el siguiente comando de Docker en la ventana de Terminal:

docker compose up -d

Este comando hará lo siguiente:

• Ejecuta docker compose, el programa que administra las aplicaciones Docker
• Inicia el contenedor usando el comando up
• Ejecuta el contenedor en segundo plano (llamado modo separado, que se especifica con -d) Brad Morton / How-To Geek

  Si no ha ejecutado este comando antes y es necesario descargar la aplicación (sacado), es posible que tengas que ir a preparar una taza de té, ya que podría llevar un tiempo. Una vez que el comando haya terminado de ejecutarse exitosamente, verá que el contenedor Docker text-generation-web-ui-docker se ha creado e iniciado.

  Brad Morton / How-To Geek

  El contenedor en ejecución también aparecerá en Docker Desktop, donde podrá detenerlo, iniciarlo y administrarlo.

  Brad Morton / How-To Geek

  Paso 4: Instalar el modelo GPT-2 desde OpenAI

  Una vez que text-spawn-web-ui-docker esté funcionando en Docker, puede acceder escribiendo la dirección http://localhost:7860 en la barra de direcciones de su navegador. Localhost es la dirección que utiliza su computadora para acceder a los servicios que está ejecutando, a cada uno de los cuales se le asigna un número de puerto único (en este caso 7860). Puede ver qué puertos un contenedor Docker en ejecución ha puesto a disposición en localhost abriéndolo en el escritorio de Docker.

  Esta es una versión anterior de GPT que la que obtienes cuando usas ChatGPT en Internet. En consecuencia, no será tan inteligente ni intuitivo como cabría esperar, pero sí personalizable y privado.

  Navegue a la pestaña Modelo en la interfaz web e ingrese openai-community/gpt2 en el cuadro "Descargar modelo o LoRA", y luego haga clic en el botón Descargar. Esto puede tardar unos minutos.

  Brad Morton / How-To Geek

  Haga clic en el ícono Actualizar en la parte superior izquierda, luego seleccione openai-community/gpt2 recién descargado en el menú desplegable Modelo adyacente. Finalmente, haga clic en el botón "Cargar" y espere unos minutos hasta que vea un mensaje de éxito.

  Brad Morton / How-To Geek

  Este modelo funciona de inmediato y no requiere ningún registro. A medida que te adentras en la IA y quieras experimentar con diferentes modelos y herramientas de IA, puedes encontrar más en HuggingFace.

  Paso 5: Comience a usar su chatbot de IA GPT personalizado

  Esto no es como los chatbots de IA que está acostumbrado a usar en línea, que ya están configurados para uso general y cubren una muchas situaciones. Tendrás que decirle al modelo cómo comportarse antes de interactuar con él; de lo contrario, su resultado será un poco... desquiciado.

  Brad Morton / How-To Geek

  Vaya, si bien obtuvo la respuesta correcta, este chatbot de IA necesita un poco de ajuste.

  Hay Puedes modificar muchas cosas y puede resultar un poco complicado al principio, pero con práctica y experiencia, puedes crear un chatbot que sea específico para tu propio uso y que mantenga tus datos al 100% en tu propia computadora, lo cual es genial. para negocios y otros casos de uso confidenciales. Para aprender cómo configurar y entrenar su chatbot GPT local, consulte la documentación de generación de texto-web-ui y los documentos de OpenAI GP2 en HuggingFace.

  Si desea generar imágenes usando IA desde su PC con Windows, puede usar Fooocus para obtener resultados más fáciles e inmediatos.