오늘은 사용자의 브라우저에서 AI를 직접 실행할 수 있는 JavaScript SDK인 Offload를 공유해드리고자 합니다.

오프로드란 무엇입니까?

웹사이트에 AI를 추가하는 데 사용할 수 있는 SDK이지만 한 가지 특이점이 있습니다. 사용자가 AI 작업을 로컬에서 실행하고 데이터를 기기에 보관하면서 데이터를 전송할 필요가 없다는 것입니다. 타사 추론 API에 연결합니다.

또한 비용을 절감하고 애플리케이션을 저렴하게 확장할 수 있습니다. 더 많은 추론이 사용자 장치에 오프로드됨에 따라 타사 API에 할당하거나 소비해야 하는 리소스가 줄어듭니다.

애플리케이션 개발자인 경우 Offload를 통합하면 애플리케이션이 향상될 뿐입니다. 이는 평소와 같이 계속 작동하면서 사용자에게 별도의 노력 없이 로컬에서 데이터를 처리할 수 있는 기능을 제공하기 때문입니다.

오프로드 기능

추론 함수 호출만 변경하면 현재 사용 중인 SDK를 직접 대체하여 Offload를 통합할 수 있습니다.

오프로드는 기기 및 리소스에 따라 다양한 크기의 모델을 사용자에게 자동으로** 제공합니다. 사용자의 장치에 리소스가 충분하지 않은 경우 Offload는 해당 사용자에게 로컬로 데이터를 처리하는 옵션을 표시하지 않고 대시보드를 통해 지정한 API로 대체합니다.

대시보드에서는 프롬프트를 구성 및 관리하고, 다양한 모델에 맞게 사용자 정의 및 테스트하고, 사용자로부터 분석을 얻을 수 있습니다. 모든 것이 기기 내에서 처리되므로 사용자 데이터를 제3자에게 노출하지 않고 모든 것이 가능합니다.

Offload는 텍스트 응답 생성, JSON 스키마를 통해 구조화된 데이터 객체 적용, 텍스트 응답 스트리밍 등을 지원합니다.

우리가 지원하지 않는 내용 중 보고 싶은 내용이 있으면 댓글을 남겨주세요!

오프로드가 중요한 이유는 무엇입니까?

저는 로컬 AI가 미래라고 믿습니다. 하지만 AI가 계속 발전하면서 우리의 데이터가 어떻게 처리되는지에 대한 우려가 점점 커지고 있습니다.

오늘날 AI 기능을 구현하는 모든 애플리케이션은 원격 API를 사용하여 사용자의 데이터를 보냅니다. 이러한 애플리케이션의 대부분은 OpenAI, Anthropic 등과 같은 공개 API를 사용합니다. 흐름은 간단합니다. 애플리케이션은 사용자 데이터를 수집하고 이를 프롬프트와 함께 원격 API로 보냅니다. 원격 API는 생성된 텍스트나 이미지로 응답합니다.

이 접근 방식의 가장 큰 문제는 애플리케이션에 문서(또는 사진, 비디오 또는 기타 데이터)에 대한 액세스 권한을 부여할 때 문서를 원격 API로 전송한다는 것입니다. 여기에는 민감한 정보가 포함될 수 있습니다. 포함되어 있습니다. 원격 API는 프롬프트를 기록하고, 데이터를 사용하여 새 모델을 교육하거나, 다른 목적으로 데이터를 판매할 가능성이 높습니다.

저는 LLM이 있기 때문에 데이터 프라이버시 문제가 더욱 심각하다고 생각합니다. LLM을 사용하면 이전에는 불가능했던 새로운 방식으로 구조화되지 않은 엄청난 양의 정보를 색인화할 수 있으며 이로 인해 개인 정보가 노출될 위험이 높아집니다.

예를 들어 일기장이 있다고 가정해 보겠습니다. 여기에는 귀하가 사는 곳, 일정, 친구가 누구인지, 일하는 곳, 수입이 얼마나 되는지 등이 포함될 수 있습니다. 직접 쓰지는 않더라도 일기의 내용을 통해 유추할 수는 있을 것 같다. 지금까지는 해당 정보를 추론하려면 누군가가 해당 정보 전체를 읽어야 했습니다. 그러나 LLM을 사용하면 단 몇 초 만에 귀하를 사칭할 만큼 충분한 데이터를 얻을 수 있습니다.

앱을 사용하여 일기와 채팅하면 정보가 일부 API로 전송되므로 정보가 노출될 가능성이 있습니다.
반면, 이러한 애플리케이션이 Offload를 사용하는 경우 데이터가 기기 외부로 유출되지 않아 안전하게 사용할 수 있습니다.

이는 의료, 법률, 문서 처리 앱, 개인 비서 등 매우 민감한 데이터를 다루는 산업에서 특히 중요합니다.

지금 귀하의 애플리케이션에 Offload를 통합하세요!