Llama 3.2 была недавно представлена ​​на конференции разработчиков Meta, продемонстрировав впечатляющие мультимодальные возможности и версию, оптимизированную для мобильных устройств с использованием оборудования Qualcomm и MediaTek. Этот прорыв позволяет разработчикам запускать мощные модели искусственного интеллекта, такие как Llama 3.2, на мобильных устройствах, открывая путь для более эффективных, частных и быстро реагирующих приложений искусственного интеллекта.

Meta выпустила четыре варианта Llama 3.2:

• Мультимодальные модели с 11 миллиардами (11B) и 90 миллиардами (90B) параметров.
• Текстовые модели с 1 миллиардом (1B) и 3 миллиардами (3B) параметров.

Более крупные модели, особенно варианты 11B и 90B, превосходно справляются с такими задачами, как понимание изображений и анализ диаграмм, часто превосходя другие модели, такие как Claude 3 Haiku, а в некоторых случаях даже конкурируя с GPT-4o-mini. С другой стороны, легкие модели 1B и 3B предназначены для генерации текста и многоязычных возможностей, что делает их идеальными для приложений на устройствах, где конфиденциальность и эффективность являются ключевыми факторами.

В этом руководстве мы покажем вам, как запустить Llama 3.2 на устройстве Android с помощью Termux и Ollama. Termux предоставляет среду Linux на Android, а Ollama помогает управлять большими моделями и запускать их локально.

Зачем запускать Llama 3.2 локально?

Локальное использование моделей ИИ дает два основных преимущества:

1. Мгновенная обработка, поскольку все обрабатывается на устройстве.
2. Повышенная конфиденциальность, поскольку нет необходимости отправлять данные в облако для обработки.

Несмотря на то, что пока не так много продуктов, которые позволяют мобильным устройствам беспрепятственно запускать такие модели, как Llama 3.2, мы все равно можем изучить это, используя среду Linux на Android.

Действия по запуску Llama 3.2 на Android

1. Установите Termux на Android

Termux — это эмулятор терминала, который позволяет устройствам Android запускать среду Linux без необходимости root-доступа. Он доступен бесплатно и его можно скачать со страницы Termux GitHub.

Для работы с этим руководством загрузите termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk и установите его на свое устройство Android.

2. Настройте Термукс

После запуска Termux выполните следующие действия для настройки среды:

1. Предоставить доступ к хранилищу:

   termux-setup-storage

Эта команда позволяет Termux получить доступ к хранилищу вашего Android-устройства, упрощая управление файлами.

1. Пакеты обновлений:

   pkg upgrade

Введите Y, когда будет предложено обновить Termux и все установленные пакеты.

1. Установить основные инструменты:

   pkg install git cmake golang

Эти пакеты включают Git для контроля версий, CMake для создания программного обеспечения и Go, язык программирования, на котором написан Ollama.

3. Установите и скомпилируйте Олламу

Ollama — это платформа для локального запуска больших моделей. Вот как его установить и настроить:

1. Репозиторий GitHub клона Олламы:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Перейдите в каталог Олламы:

   cd ollama

1. Сгенерировать код Go:

   go generate ./...

1. Построить Олламу:

   go build .

1. Запустить сервер Оллама:

   ./ollama serve &

Теперь сервер Ollama будет работать в фоновом режиме, что позволит вам взаимодействовать с моделями.

4. Запуск моделей Llama 3.2

Чтобы запустить модель Llama 3.2 на устройстве Android, выполните следующие действия:

1. Выберите модель:

   • Для тестирования доступны такие модели, как llama3.2:3b (3 миллиарда параметров). Эти модели квантованы для повышения эффективности. Список доступных моделей можно найти на сайте Ollama.

2. Загрузите и запустите модель Llama 3.2:
   

   ./ollama run llama3.2:3b --verbose

Флаг --verbose является необязательным и обеспечивает подробные журналы. После завершения загрузки вы можете начать взаимодействовать с моделью.

5. Управление производительностью

При тестировании Llama 3.2 на таких устройствах, как Samsung S21 Ultra, производительность была плавной для модели 1B и управляемой для модели 3B, хотя на старом оборудовании вы можете заметить отставание. Если производительность слишком низкая, переключение на меньшую модель 1B может значительно улучшить скорость реагирования.

Дополнительная очистка

После использования Ollama вам может потребоваться очистить систему:

1. Удалить ненужные файлы:

   chmod -R 700 ~/go
   rm -r ~/go

1. Переместите двоичный файл Ollama в глобальный путь:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Теперь вы можете запустить ollama прямо из терминала.

Заключение

Llama 3.2 представляет собой большой шаг вперед в технологии искусственного интеллекта, предлагая мощные мультимодальные модели для мобильных устройств. Запуская эти модели локально с помощью Termux и Ollama, разработчики могут изучить потенциал приложений искусственного интеллекта на устройстве, ориентированных на конфиденциальность, которые не полагаются на облачную инфраструктуру. С такими моделями, как Llama 3.2, будущее мобильного искусственного интеллекта выглядит светлым, позволяя создавать более быстрые и безопасные решения искусственного интеллекта в различных отраслях.