Heute möchte ich Offload teilen, ein Javascript-SDK, um KI direkt im Browser der Benutzer auszuführen.

Was ist Offload?

Es handelt sich um ein SDK, mit dem Sie Ihrer Website KI hinzufügen können, allerdings mit einer Besonderheit: Es ermöglicht Ihren Benutzern, KI-Aufgaben lokal auszuführen und ihre Daten auf ihren Geräten zu behalten, sodass sie nicht gesendet werden müssen an eine Inferenz-API eines Drittanbieters.

Darüber hinaus senkt es Ihre Kosten und hilft Ihrer Anwendung, kostengünstig zu skalieren. Je mehr Rückschlüsse auf die Geräte der Benutzer verlagert werden, desto weniger Ressourcen müssen Sie APIs von Drittanbietern zuweisen oder dafür ausgeben.

Wenn Sie ein Anwendungsentwickler sind, wird die Integration von Offload Ihre Anwendung nur verbessern, da sie weiterhin wie gewohnt funktioniert und Ihren Benutzern gleichzeitig die Möglichkeit bietet, ihre Daten lokal zu verarbeiten, ohne dass Sie dafür einen Aufwand betreiben müssen.

Offload-Funktionen

Sie können Offload als direkten Ersatz für jedes SDK integrieren, das Sie gerade verwenden, indem Sie einfach Ihre Inferenzfunktionsaufrufe ändern.

Offload stellt Ihren Benutzern je nach Gerät und Ressourcen automatisch Modelle unterschiedlicher Größe bereit**. Wenn das Gerät des Benutzers nicht über genügend Ressourcen verfügt, zeigt Offload diesem Benutzer nicht die Option zur lokalen Verarbeitung der Daten an und greift auf die API zurück, die Sie über das Dashboard angeben.

Im Dashboard können Sie die Eingabeaufforderungen konfigurieren und verwalten, sie für die verschiedenen Modelle anpassen und testen sowie Analysen von den Benutzern erhalten und vieles mehr. Alles, ohne die Daten Ihrer Benutzer an Dritte weiterzugeben, da alles auf dem Gerät verarbeitet wird.

Offload unterstützt das Generieren von Textantworten, das Erzwingen strukturierter Datenobjekte über JSON-Schemas, das Streamen der Textantwort und mehr.

Wenn es noch etwas gibt, das wir nicht unterstützen und das Sie sehen möchten, hinterlassen Sie bitte einen Kommentar!

Warum ist Offload wichtig?

Ich glaube, dass lokale KI die Zukunft ist. Da die KI jedoch immer weiter voranschreitet, mache ich mir zunehmend Sorgen darüber, wie unsere Daten verarbeitet werden.

Jede Anwendung, die heute eine KI-Funktion implementiert, verwendet eine Remote-API, an die sie die Daten der Benutzer sendet. Die meisten dieser Anwendungen nutzen öffentliche APIs wie OpenAI, Anthropic und andere. Der Ablauf ist einfach: Die Anwendung sammelt die Benutzerdaten und sendet sie zusammen mit der Eingabeaufforderung an die Remote-API, die mit dem generierten Text oder Bild antwortet.

Das große Problem bei diesem Ansatz besteht darin, dass, wenn Sie einer Anwendung Zugriff auf ein Dokument (oder ein Foto, ein Video oder ein beliebiges Datenelement) gewähren, diese Ihr Dokument an eine Remote-API sendet, die alle darin enthaltenen vertraulichen Informationen enthalten kann enthält. Die Remote-API zeichnet wahrscheinlich die Eingabeaufforderungen auf, verwendet die Daten zum Trainieren neuer Modelle oder verkauft Ihre Daten für andere Zwecke.

Ich denke, das Datenschutzproblem ist jetzt, wo wir LLMs haben, noch schlimmer. LLMs ermöglichen die Indizierung großer Mengen unstrukturierter Informationen auf neue Arten, die zuvor nicht möglich waren, und dies erhöht die Gefahr, dass persönliche Informationen preisgegeben werden.

Angenommen, Sie führen ein Tagebuch. Dazu gehören wahrscheinlich Ihr Wohnort, Ihre Zeitpläne, wer Ihre Freunde sind, wo Sie arbeiten, vielleicht wie viel Sie verdienen und vieles mehr. Auch wenn es nicht direkt geschrieben wurde, kann es wahrscheinlich aus dem Inhalt des Tagebuchs abgeleitet werden. Um auf diese Informationen schließen zu können, musste bisher jemand sie vollständig lesen. Mit LLMs könnte man jedoch genügend Daten sammeln, um sich in Sekundenschnelle als Sie auszugeben.

Wenn Sie eine App verwenden, um mit Ihrem Tagebuch zu chatten, geben Sie möglicherweise Ihre Informationen preis, da diese an eine API gesendet werden.
Wenn eine solche Anwendung hingegen Offload verwendet, können Sie es sicher verwenden, da Ihre Daten Ihr Gerät nicht verlassen und somit nicht offengelegt werden können.

Dies ist besonders wichtig in Branchen, die mit hochsensiblen Daten arbeiten, wie z. B. im Gesundheitswesen, im Rechtswesen, in Dokumentenverarbeitungs-Apps, persönlichen Assistenten usw.

Integrieren Sie Offload noch heute in Ihre Anwendung!