Hoje quero compartilhar o Offload, um SDK javascript para executar IA diretamente no navegador dos usuários.

O que é descarregamento?

É um SDK que você pode usar para adicionar IA ao seu site, mas com uma peculiaridade: permite que seus usuários executem tarefas de IA localmente, mantendo seus dados em seus dispositivos, evitando a necessidade de enviá-los para uma API de inferência de terceiros.

Além disso, diminui seus custos e ajuda a dimensionar seu aplicativo de maneira econômica. Quanto mais inferência é transferida para os dispositivos dos usuários, menos recursos você precisa para alocar ou gastar em APIs de terceiros.

Se você é um desenvolvedor de aplicativos, a integração do Offload apenas melhorará seu aplicativo, pois continuará funcionando normalmente, ao mesmo tempo que oferece aos seus usuários a capacidade de processar seus dados localmente, sem nenhum esforço de sua parte.

Recursos de descarregamento

Você pode integrar o Offload como um substituto direto de qualquer SDK que você está usando no momento, apenas alterando suas chamadas de função de inferência.

O Offload disponibiliza** modelos de tamanhos diferentes para seus usuários automaticamente**, dependendo do dispositivo e de seus recursos. Se o dispositivo do usuário não tiver recursos suficientes, o Offload não mostrará ao usuário a opção de processar os dados localmente e recorrerá a qualquer API que você especificar por meio do painel.

No painel, você pode configurar e gerenciar os prompts, personalizá-los e testá-los para os diferentes modelos, obter análises dos usuários e muito mais. Tudo sem expor os dados dos seus usuários a terceiros, pois tudo é processado no dispositivo.

Offload oferece suporte à geração de respostas de texto, aplicação de objetos de dados estruturados por meio de esquemas JSON, streaming da resposta de texto e muito mais.

Se houver mais alguma coisa que não apoiamos e que você gostaria de ver, deixe um comentário!

Por que o descarregamento é importante?

Acredito que a IA local é o futuro. No entanto, à medida que a IA continua a avançar, estou cada vez mais preocupado com a forma como os nossos dados são processados.

Todo aplicativo que implementa um recurso de IA hoje usa uma API remota, para onde envia os dados dos usuários. A maioria desses aplicativos usa APIs públicas como OpenAI, Anthropic e outras. O fluxo é simples: a aplicação coleta os dados do usuário e os envia junto com o prompt para a API remota, que responde com o texto ou imagem gerado.

O grande problema dessa abordagem é que quando você dá a um aplicativo acesso a um documento (ou foto, vídeo ou qualquer dado), ele envia seu documento para uma API remota, que pode incluir qualquer informação sensível que ele contém. A API remota provavelmente registra os prompts, usa os dados para treinar novos modelos ou vende seus dados para outros fins.

Acho que o problema de privacidade de dados é ainda pior agora que temos LLMs. Os LLMs permitem indexar grandes quantidades de informações não estruturadas de novas maneiras que não eram possíveis antes, e isso aumenta o perigo de expor qualquer informação pessoal.

Por exemplo, digamos que você tenha um diário. Provavelmente inclui onde você mora, seus horários, quem são seus amigos, onde você trabalha, talvez quanto você ganha e muito mais. Mesmo que não seja escrito diretamente, provavelmente pode ser inferido do conteúdo do diário. Até agora, para inferir essa informação, alguém precisaria lê-la na íntegra. No entanto, com LLMs, é possível obter dados suficientes para se passar por você em segundos.

Ao usar um aplicativo para conversar com seu diário, você está potencialmente expondo suas informações, pois elas são enviadas para alguma API.
Por outro lado, se tal aplicativo usar o Offload, você poderá usá-lo com segurança, pois seus dados não saem do seu dispositivo e, portanto, não podem ser expostos.

Isso é especialmente importante em setores que trabalham com dados altamente confidenciais, como saúde, jurídico, aplicativos de processamento de documentos, assistentes pessoais, etc.

Integre o Offload ao seu aplicativo hoje mesmo!