Nvidia ha lanzado Chat with RXT, un chatbot de IA que opera en tu PC y ofrece funciones similares a ChatGPT y más. Todo lo que necesitas es una GPU Nvidia RTX y estarás listo para comenzar a usar el nuevo chatbot de IA de Nvidia.

¿Qué es Nvidia Chat con RTX?

Nvidia Chat con RTX es un software de inteligencia artificial que le permite ejecutar un modelo de lenguaje grande (LLM) localmente en su computadora. Entonces, en lugar de conectarse a Internet para usar un chatbot de IA como ChatGPT, puede usar Chat con RTX sin conexión cuando lo desee.

Chat with RTX utiliza TensorRT-LLM, aceleración RTX y un Mistral 7-B LLM cuantificado para proporcionar un rendimiento rápido y respuestas de calidad a la par con otros chatbots de IA en línea. También proporciona generación de recuperación aumentada (RAG), lo que permite que el chatbot lea sus archivos y habilite respuestas personalizadas basadas en los datos que usted proporciona. Esto le permite personalizar el chatbot para brindar una experiencia más personal.

Si quieres probar Nvidia Chat con RTX, aquí te explicamos cómo descargarlo, instalarlo y configurarlo en tu computadora.

Cómo descargar e instalar Chat con RTX

Nvidia ha hecho que ejecutar un LLM localmente en su computadora sea mucho más fácil. Para ejecutar Chat con RTX, solo necesita descargar e instalar la aplicación, tal como lo haría con cualquier otro software. Sin embargo, Chat with RTX tiene algunos requisitos mínimos de especificación para instalar y utilizar correctamente.

GPU RTX serie 30 o serie 40 16 GB de RAM 100 GB de espacio de memoria libre Windows 11

Si su PC cumple con los requisitos mínimos del sistema, puede continuar e instalar la aplicación.

Paso 1: Descargue el archivo ZIP Chat with RTX.Descargar: Chat with RTX (Gratis: descarga de 35 GB)

Paso 2: Extraiga el archivo ZIP haciendo clic derecho y seleccionando una herramienta de archivo de archivos como 7Zip o haciendo doble clic en el archivo y seleccionando Extraer todo. Paso 3: abra la carpeta extraída y haga doble clic en setup.exe. Siga las instrucciones en pantalla y marque todas las casillas durante el proceso de instalación personalizada. Después de presionar Siguiente, el instalador descargará e instalará LLM y todas las dependencias.

La instalación de Chat with RTX tardará algún tiempo en finalizar, ya que descarga e instala una gran cantidad de datos. Después del proceso de instalación, presione Cerrar y listo. Ahora es el momento de que pruebes la aplicación.

Cómo usar Nvidia Chat con RTX

Aunque puedes usar Chat con RTX como un chatbot de IA en línea normal, te recomiendo encarecidamente que verifiques su funcionalidad RAG, que te permite personalizar su salida según en los archivos a los que da acceso.

Paso 1: Crear carpeta RAG

Para comenzar a usar RAG en Chat con RTX, cree una nueva carpeta para almacenar los archivos que desea que la IA analice.

Después de la creación, coloque sus archivos de datos en la carpeta. Los datos que almacena pueden cubrir muchos temas y tipos de archivos, como documentos, PDF, texto y vídeos. Sin embargo, es posible que desee limitar la cantidad de archivos que coloca en esta carpeta para no afectar el rendimiento. Más datos para buscar significa que Chat with RTX tardará más en devolver respuestas para consultas específicas (pero esto también depende del hardware).

Ahora que tu base de datos está lista, puedes configurar Chat con RTX y comenzar a usarlo para responder tus preguntas y consultas.

Paso 2: Configurar el entorno

Abra Chat con RTX. Debería verse como la imagen de abajo.

En Conjunto de datos, asegúrese de que la opción Ruta de carpeta esté seleccionada. Ahora haga clic en el ícono de edición a continuación (el ícono del lápiz) y seleccione la carpeta que contiene todos los archivos que desea que Chat with RTX lea. También puede cambiar el modelo de IA si hay otras opciones disponibles (en el momento de escribir este artículo, solo está disponible Mistral 7B).

Ahora estás listo para usar Chat con RTX.

Paso 3: ¡Haga sus preguntas al chat con RTX!

Hay varias formas de consultar Chat con RTX. La primera es utilizarlo como un chatbot de IA normal. Le pregunté a Chat with RTX sobre los beneficios de utilizar un LLM local y quedé satisfecho con su respuesta. No era muy profundo, pero sí lo suficientemente preciso.

Pero como Chat with RTX es capaz de RAG, también puedes usarlo como un asistente personal de IA.

Arriba, utilicé Chat con RTX para preguntar sobre mi agenda. Los datos provienen de un archivo PDF que contiene mi agenda, calendario, eventos, trabajo, etc. En este caso, Chat with RTX extrajo los datos correctos del calendario de los datos; Tendrás que mantener actualizados tus archivos de datos y fechas de calendario para que funciones como esta funcionen correctamente hasta que haya integraciones con otras aplicaciones.

Hay muchas maneras en que puedes utilizar Chat con RAG de RTX para tu ventaja. Por ejemplo, puede usarlo para leer documentos legales y dar un resumen, generar código relevante para el programa que está desarrollando, obtener viñetas destacadas sobre un video que está demasiado ocupado para mirar, ¡y mucho más!

Paso 4: Función adicional

Además de tu carpeta de datos local, puedes usar Chat con RTX para analizar videos de YouTube. Para hacerlo, en Conjunto de datos, cambie la Ruta de la carpeta a la URL de YouTube.

Copie la URL de YouTube que desea analizar y péguela debajo del menú desplegable. ¡Entonces pregunta!

El análisis de video de YouTube de Chat with RTX fue bastante bueno y brindó información precisa, por lo que podría ser útil para investigaciones, análisis rápidos y más.

¿Es bueno el chat de Nvidia con RTX?

ChatGPT proporciona la funcionalidad RAG. Algunos chatbots de IA locales tienen requisitos de sistema significativamente más bajos. Entonces, ¿vale la pena usar Nvidia Chat con RTX?

¡La respuesta es sí! Vale la pena utilizar el chat con RTX a pesar de la competencia.

Uno de los mayores puntos de venta de Nvidia Chat con RTX es su capacidad de usar RAG sin enviar sus archivos a un servidor de terceros. Personalizar los GPT a través de servicios en línea puede exponer sus datos. Pero dado que Chat with RTX se ejecuta localmente y sin conexión a Internet, el uso de RAG en Chat with RTX garantiza que sus datos confidenciales estén seguros y solo sean accesibles en su PC.

En cuanto a otros chatbots de IA que se ejecutan localmente y ejecutan Mistral 7B, Chat with RTX funciona mejor y más rápido. Aunque una gran parte del aumento de rendimiento proviene del uso de GPU de gama alta, el uso de Nvidia TensorRT-LLM y la aceleración RTX hizo que la ejecución de Mistral 7B fuera más rápida en Chat con RTX en comparación con otras formas de ejecutar un LLM optimizado para chat.

Vale la pena señalar que la versión Chat con RTX que estamos usando actualmente es una demostración. Es probable que las versiones posteriores de Chat con RTX estén más optimizadas y ofrezcan mejoras en el rendimiento.

¿Qué pasa si no tengo una GPU RTX serie 30 o 40?

Chatear con RTX es una forma fácil, rápida y segura de ejecutar un LLM localmente sin necesidad de una conexión a Internet. Si también está interesado en ejecutar un LLM o local pero no tiene una GPU RTX serie 30 o 40, puede probar otras formas de ejecutar un LLM localmente. Dos de los más populares serían GPT4ALL y Text Gen WebUI. Pruebe GPT4ALL si desea una experiencia plug-and-play ejecutando localmente un LLM. Pero si tiene una inclinación un poco más técnica, ejecutar LLM a través de Text Gen WebUI le proporcionará un mejor ajuste y flexibilidad.