今天我想分享Offload，一个直接在用户浏览器上运行AI的javascript SDK。

什么是卸载？

这是一个 SDK，您可以使用它向您的网站添加 AI，但有一个特点：它允许您的用户在本地运行 AI 任务，将数据保存在设备上，从而无需发送数据到第三方推理 API。

此外，它降低了您的成本并帮助您以低廉的成本扩展应用程序。随着更多的推理转移到用户的设备，您需要分配或花费在第三方 API 上的资源就越少。

如果您是应用程序开发人员，集成 Offload 只会改进您的应用程序，因为它将继续照常工作，同时为您的用户提供本地处理数据的能力，而无需您付出任何努力。

卸载功能

您可以集成 Offload 作为您现在使用的任何 SDK 的直接替代品，只需更改您的推理函数调用即可。

Offload 自动为您的用户提供**不同尺寸的模型**，具体取决于设备及其资源。如果用户的设备没有足够的资源，Offload 将不会向用户显示在本地处理数据的选项，并将回退到您通过仪表板指定的任何 API。

在仪表板中，您可以配置和管理提示，针对不同模型自定义和测试它们，并从用户那里获取分析等等。一切都不会将用户数据暴露给任何第三方，因为一切都在设备上处理。

Offload 支持生成文本响应、通过 JSON 模式强制执行结构化数据对象、流式传输文本响应等等。

如果还有什么我们不支持您想看的，请留言！

为什么卸载很重要？

我相信本地人工智能是未来。然而，随着人工智能的不断进步，我越来越关心我们的数据是如何处理的。

如今实现人工智能功能的每个应用程序都使用远程 API，在其中发送用户数据。这些应用程序大多数都使用公共 API，例如 OpenAI、Anthropic 等。流程很简单：应用程序收集用户数据并将其与提示一起发送到远程 API，远程 API 会回复生成的文本或图像。

这种方法的一个大问题是，当您授予应用程序访问文档（或照片、视频或任何数据）的权限时，它会将您的文档发送到远程 API，其中可能包含任何敏感信息包含。远程 API 可能会记录提示、使用数据来训练新模型或出于其他目的出售您的数据。

我认为既然我们有了法学硕士，数据隐私问题就更加严重了。法学硕士允许以以前不可能的新方式索引大量非结构化信息，这增加了暴露任何个人信息的危险。

例如，假设您有一本日记。它可能包括你住在哪里、你的日程安排、你的朋友是谁、你在哪里工作、也许你赚了多少钱等等。就算不是直接写出来，从日记的内容中也大概能推断出来。到目前为止，要推断该信息，需要有人完整阅读它。然而，有了法学硕士，人们可以在几秒钟内获得足够的数据来冒充你。

通过使用应用程序与您的日记聊天，您可能会暴露您的信息，因为它会发送到某些 API。
另一方面，如果此类应用程序使用 Offload，您可以安全地使用它，因为您的数据不会离开您的设备，因此不会被公开。

这对于使用高度敏感数据的行业尤其重要，例如医疗保健、法律、文档处理应用程序、个人助理等。

立即将 Offload 集成到您的应用程序中！