Llama 3.2 a été récemment présenté lors de la conférence des développeurs de Meta, présentant des capacités multimodales impressionnantes et une version optimisée pour les appareils mobiles utilisant le matériel Qualcomm et MediaTek. Cette avancée permet aux développeurs d'exécuter de puissants modèles d'IA comme Llama 3.2 sur des appareils mobiles, ouvrant la voie à des applications d'IA plus efficaces, privées et réactives.

Meta a publié quatre variantes de Llama 3.2 :

• Modèles multimodaux avec 11 milliards (11B) et 90 milliards (90B) de paramètres.
• Modèles textuels avec 1 milliard (1B) et 3 milliards (3B) de paramètres.

Les modèles plus grands, en particulier les variantes 11B et 90B, excellent dans des tâches telles que la compréhension d'images et le raisonnement graphique, surpassant souvent d'autres modèles comme Claude 3 Haiku et rivalisant même avec GPT-4o-mini dans certains cas. D'autre part, les modèles légers 1B et 3B sont conçus pour la génération de texte et les capacités multilingues, ce qui les rend idéaux pour les applications sur appareil où la confidentialité et l'efficacité sont essentielles.

Dans ce guide, nous allons vous montrer comment exécuter Llama 3.2 sur un appareil Android à l'aide de Termux et Ollama. Termux fournit un environnement Linux sur Android et Ollama aide à gérer et à exécuter de grands modèles localement.

Pourquoi exécuter Llama 3.2 localement ?

L'exécution de modèles d'IA localement offre deux avantages majeurs :

1. Traitement instantané puisque tout est géré sur l'appareil.
2. Confidentialité améliorée car il n'est pas nécessaire d'envoyer les données vers le cloud pour les traiter.

Même s'il n'existe pas encore beaucoup de produits permettant aux appareils mobiles d'exécuter des modèles comme Llama 3.2 en douceur, nous pouvons toujours l'explorer en utilisant un environnement Linux sur Android.

Étapes pour exécuter Llama 3.2 sur Android

1. Installez Termux sur Android

Termux est un émulateur de terminal qui permet aux appareils Android d'exécuter un environnement Linux sans avoir besoin d'un accès root. Il est disponible gratuitement et peut être téléchargé à partir de la page Termux GitHub.

Pour ce guide, téléchargez le termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk et installez-le sur votre appareil Android.

2. Configurer Termux

Après avoir lancé Termux, suivez ces étapes pour configurer l'environnement :

1. Accorder l'accès au stockage :

   termux-setup-storage

Cette commande permet à Termux d'accéder au stockage de votre appareil Android, permettant ainsi une gestion plus facile des fichiers.

1. Packages de mise à jour :

   pkg upgrade

Entrez Y lorsque vous êtes invité à mettre à jour Termux et tous les packages installés.

1. Installer les outils essentiels :

   pkg install git cmake golang

Ces packages incluent Git pour le contrôle de version, CMake pour la création de logiciels et Go, le langage de programmation dans lequel Ollama est écrit.

3. Installez et compilez Ollama

Ollama est une plateforme permettant d'exécuter de grands modèles localement. Voici comment l'installer et le configurer :

1. Cloner le référentiel GitHub d'Ollama :

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Accédez au répertoire Ollama :

   cd ollama

1. Générer le code Go :

   go generate ./...

1. Construire Ollama :

   go build .

1. Démarrer le serveur Ollama :

   ./ollama serve &

Désormais, le serveur Ollama fonctionnera en arrière-plan, vous permettant d'interagir avec les modèles.

4. Exécution de modèles Llama 3.2

Pour exécuter le modèle Llama 3.2 sur votre appareil Android, suivez ces étapes :

1. Choisissez un modèle :

   • Des modèles comme llama3.2:3b (3 milliards de paramètres) sont disponibles pour les tests. Ces modèles sont quantifiés pour plus d’efficacité. Vous pouvez trouver une liste des modèles disponibles sur le site Web d’Ollama.

2. Téléchargez et exécutez le modèle Llama 3.2 :
   

   ./ollama run llama3.2:3b --verbose

L'indicateur --verbose est facultatif et fournit des journaux détaillés. Une fois le téléchargement terminé, vous pouvez commencer à interagir avec le modèle.

5. Gestion des performances

Lors du test de Llama 3.2 sur des appareils comme le Samsung S21 Ultra, les performances étaient fluides pour le modèle 1B et gérables pour le modèle 3B, même si vous remarquerez peut-être un décalage sur le matériel plus ancien. Si les performances sont trop lentes, le passage au modèle 1B plus petit peut améliorer considérablement la réactivité.

Nettoyage facultatif

Après avoir utilisé Ollama, vous souhaiterez peut-être nettoyer le système :

1. Supprimer les fichiers inutiles :

   chmod -R 700 ~/go
   rm -r ~/go

1. Déplacez le binaire Ollama vers un chemin global :

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Maintenant, vous pouvez exécuter ollama directement depuis le terminal.

Conclusion

Llama 3.2 représente une avancée majeure dans la technologie de l'IA, en apportant des modèles multimodaux puissants aux appareils mobiles. En exécutant ces modèles localement à l’aide de Termux et Ollama, les développeurs peuvent explorer le potentiel des applications d’IA sur appareil axées sur la confidentialité et qui ne dépendent pas de l’infrastructure cloud. Avec des modèles comme Llama 3.2, l'avenir de l'IA mobile s'annonce prometteur, permettant des solutions d'IA plus rapides et plus sécurisées dans divers secteurs.