Hoy quiero compartir Offload, un SDK de javascript para ejecutar IA directamente en el navegador de los usuarios.

¿Qué es la descarga?

Es un SDK que puedes usar para agregar IA a tu sitio web, pero con una peculiaridad: permite a tus usuarios ejecutar tareas de IA localmente, manteniendo sus datos en sus dispositivos, evitando la necesidad de enviarlos. a una API de inferencia de terceros.

Además, disminuye sus costos y ayuda a que su aplicación escale de manera económica. A medida que se descarga más inferencia en los dispositivos de los usuarios, menos recursos necesitará asignar o gastar en API de terceros.

Si eres desarrollador de aplicaciones, integrar Offload solo mejorará tu aplicación, ya que seguirá funcionando como siempre y ofrecerá a tus usuarios la capacidad de procesar sus datos localmente, sin ningún esfuerzo de tu parte.

Descargar funciones

Puedes integrar Offload como reemplazo directo de cualquier SDK que estés usando en este momento, simplemente cambiando las llamadas a tu función de inferencia.

Offload sirve** modelos de diferentes tamaños a tus usuarios automáticamente**, según el dispositivo y sus recursos. Si el dispositivo del usuario no tiene suficientes recursos, Offload no le mostrará a ese usuario la opción de procesar los datos localmente y recurrirá a cualquier API que especifique a través del panel.

En el panel, puede configurar y administrar las indicaciones, personalizarlas y probarlas para los diferentes modelos, y obtener análisis de los usuarios, y más. Todo sin exponer los datos de tus usuarios a ningún tercero, ya que todo se procesa en el dispositivo.

La descarga admite la generación de respuestas de texto, la aplicación de objetos de datos estructurados a través de esquemas JSON, la transmisión de la respuesta de texto y más.

Si hay algo más que no admitimos y que te gustaría ver, ¡deja un comentario!

¿Por qué es importante la descarga?

Creo que la IA local es el futuro. Sin embargo, a medida que la IA sigue avanzando, me preocupa cada vez más cómo se procesan nuestros datos.

Cada aplicación que implementa una función de IA hoy en día utiliza una API remota, a donde envía los datos de los usuarios. La mayoría de estas aplicaciones utilizan API públicas como OpenAI, Anthropic y otras. El flujo es simple: la aplicación recopila los datos del usuario y los envía junto con el mensaje a la API remota, que responde con el texto o la imagen generada.

El gran problema con este enfoque es que cuando le das a una aplicación acceso a un documento (o foto, video o cualquier dato), envía tu documento a una API remota, que puede incluir cualquier información confidencial que pueda contener. contiene. Es probable que la API remota registre las indicaciones, utilice los datos para entrenar nuevos modelos o venda sus datos para otros fines.

Creo que el problema de la privacidad de los datos es aún peor ahora que tenemos LLM. Los LLM permiten indexar grandes cantidades de información no estructurada de nuevas formas que antes no eran posibles, y esto aumenta el peligro de exponer cualquier información personal.

Por ejemplo, digamos que tienes un diario. Probablemente incluya dónde vive, sus horarios, quiénes son sus amigos, dónde trabaja, tal vez cuánto gana y mucho más. Incluso si no está escrito directamente, probablemente pueda inferirse del contenido del diario. Hasta ahora, para inferir esa información, alguien necesitaría leerla en su totalidad. Sin embargo, con los LLM, uno podría obtener suficientes datos para hacerse pasar por usted en segundos.

Al usar una aplicación para chatear con tu diario, potencialmente estás exponiendo tu información, ya que se envía a alguna API.
Por otro lado, si dicha aplicación utiliza Offload, puedes usarla de forma segura ya que tus datos no salen de tu dispositivo y, por lo tanto, no pueden quedar expuestos.

Esto es especialmente importante en industrias que trabajan con datos altamente confidenciales, como aplicaciones de procesamiento de documentos, atención médica, legal, asistentes personales, etc.

¡Integre Offload en su aplicación hoy!