Сегодня я хочу поделиться Offload, javascript SDK для запуска искусственного интеллекта непосредственно в браузере пользователя.

Что такое разгрузка?

Это SDK, который вы можете использовать для добавления ИИ на свой веб-сайт, но с одной особенностью: он позволяет вашим пользователям выполнять задачи ИИ локально, сохраняя свои данные на своих устройствах, избегая необходимости их отправки к стороннему API вывода.

Кроме того, это снижает ваши затраты и помогает вашему приложению недорого масштабироваться. Чем больше логических выводов переносится на устройства пользователей, тем меньше ресурсов вам нужно выделять или тратить на сторонние API.

Если вы разработчик приложений, интеграция Offload только улучшит ваше приложение, поскольку оно продолжит работать в обычном режиме, предлагая вашим пользователям возможность обрабатывать свои данные локально без каких-либо усилий с вашей стороны.

Разгрузка функций

Вы можете интегрировать Offload в качестве прямой замены любого SDK, который вы используете прямо сейчас, просто изменив вызовы функций вывода.

Разгрузка автоматически предоставляет** пользователям модели разного размера** в зависимости от устройства и его ресурсов. Если на устройстве пользователя недостаточно ресурсов, Offload не покажет этому пользователю возможность локальной обработки данных и вернется к любому API, указанному вами через панель управления.

На панели управления вы можете настраивать подсказки и управлять ими, настраивать и тестировать их для различных моделей, а также получать аналитику от пользователей и многое другое. Все это без раскрытия данных ваших пользователей третьим лицам, поскольку все обрабатывается на устройстве.

Разгрузка поддерживает генерацию текстовых ответов, принудительное использование объектов структурированных данных через схемы JSON, потоковую передачу текстового ответа и многое другое.

Если вы хотели бы увидеть что-то еще, что мы не поддерживаем, оставьте комментарий!

Почему разгрузка важна?

Я верю, что за местным искусственным интеллектом будущее. Однако по мере того, как ИИ продолжает развиваться, меня все больше беспокоит то, как обрабатываются наши данные.

Каждое приложение, реализующее функцию искусственного интеллекта, сегодня использует удаленный API, куда оно отправляет данные пользователей. Большинство этих приложений используют общедоступные API, такие как OpenAI, Anthropic и другие. Схема проста: приложение собирает пользовательские данные и отправляет их вместе с запросом в удаленный API, который отвечает сгенерированным текстом или изображением.

Большая проблема с этим подходом заключается в том, что когда вы предоставляете приложению доступ к документу (или фотографии, видео или любому фрагменту данных), оно отправляет ваш документ на удаленный API, который может включать в себя любую конфиденциальную информацию. содержит. Удаленный API, скорее всего, записывает запросы, использует данные для обучения новых моделей или продает ваши данные для других целей.

Я думаю, что проблема конфиденциальности данных стала еще хуже, когда у нас есть степень магистра права. LLM позволяют индексировать огромные объемы неструктурированной информации новыми способами, которые раньше были невозможны, и это увеличивает опасность раскрытия любой личной информации.

Предположим, у вас есть дневник. Вероятно, это включает в себя то, где вы живете, ваши графики, кто ваши друзья, где вы работаете, возможно, сколько вы зарабатываете и многое другое. Даже если это не написано напрямую, об этом, вероятно, можно судить по содержанию дневника. До сих пор, чтобы получить эту информацию, кому-то нужно было прочитать ее целиком. Однако с помощью LLM можно получить достаточно данных, чтобы выдать себя за вас за считанные секунды.

Используя приложение для общения со своим дневником, вы потенциально раскрываете свою информацию, поскольку она отправляется в какой-то API.
С другой стороны, если такое приложение использует разгрузку, вы можете использовать его безопасно, поскольку ваши данные не покидают ваше устройство и, следовательно, не могут быть раскрыты.

Это особенно важно в отраслях, которые работают с высококонфиденциальными данными, таких как здравоохранение, юриспруденция, приложения для обработки документов, личные помощники и т. д.

Интегрируйте Offload в свое приложение уже сегодня!