今天我想分享Offload，一個直接在使用者瀏覽器上執行AI的javascript SDK。

什麼是卸載？

這是一個SDK，您可以使用它來為您的網站添加AI，但有一個特點：它允許您的用戶在本地運行AI 任務，將資料保存在設備上，從而無需發送資料到第三方推理API。

此外，它降低了您的成本並幫助您以低廉的成本擴展應用程式。隨著更多的推理轉移到使用者的設備，您需要分配或花費在第三方 API 上的資源就越少。

如果您是應用程式開發人員，整合 Offload 只會改進您的應用程序，因為它將繼續照常工作，同時為您的用戶提供本地處理資料的能力，而無需您付出任何努力。

解除安裝功能

您可以整合 Offload 作為您現在使用的任何 SDK 的直接替代品，只需更改您的推理函數呼叫即可。

Offload 會自動為您的使用者提供**不同尺寸的模型**，具體取決於裝置及其資源。如果使用者的裝置沒有足夠的資源，Offload 將不會向使用者顯示在本機處理資料的選項，並將回退到您透過儀表板指定的任何 API。

在儀表板中，您可以配置和管理提示，針對不同模型自訂和測試它們，並從使用者那裡獲取分析等等。一切都不會將用戶資料暴露給任何第三方，因為一切都在設備上處理。

Offload 支援產生文字回應、透過 JSON 模式強制執行結構化資料物件、串流文字回應等等。

如果還有什麼我們不支持您想看的，請留言！

為什麼卸載很重要？

我相信本地人工智慧是未來。然而，隨著人工智慧的不斷進步，我越來越關心我們的數據是如何處理的。

如今實現人工智慧功能的每個應用程式都使用遠端 API，在其中發送用戶資料。這些應用程式大多數都使用公共 API，例如 OpenAI、Anthropic 等。流程很簡單：應用程式收集使用者資料並將其與提示一起傳送到遠端 API，遠端 API 會回覆產生的文字或圖像。

這種方法的一個大問題是，當您授予應用程式存取文件（或照片、視訊或任何資料）的權限時，它會將您的文件發送到遠端API，其中可能包含任何敏感資訊包含。遠端 API 可能會記錄提示、使用資料來訓練新模型或出於其他目的出售您的資料。

我認為既然我們有了法學碩士，資料隱私問題就更加嚴重了。法學碩士允許以以前不可能的新方式索引大量非結構化信息，這增加了暴露任何個人信息的危險。

例如，假設您有一本日記。它可能包括你住在哪裡、你的日程安排、你的朋友是誰、你在哪裡工作、也許你賺了多少錢等等。就算不是直接寫出來，從日記的內容大概也能推論出來。到目前為止，要推斷該訊息，需要有人完整閱讀它。然而，有了法學碩士，人們可以在幾秒鐘內獲得足夠的數據來冒充你。

透過使用應用程式與您的日記聊天，您可能會暴露您的訊息，因為它會發送到某些 API。
另一方面，如果此類應用程式使用 Offload，您可以安全地使用它，因為您的資料不會離開您的設備，因此不會被公開。

這對於使用高度敏感資料的行業尤其重要，例如醫療保健、法律、文件處理應用程式、個人助理等。

立即將 Offload 整合到您的應用程式中！