Llama 3.2 wurde kürzlich auf der Entwicklerkonferenz von Meta vorgestellt und präsentiert beeindruckende multimodale Fähigkeiten und eine für mobile Geräte mit Qualcomm- und MediaTek-Hardware optimierte Version. Dieser Durchbruch ermöglicht es Entwicklern, leistungsstarke KI-Modelle wie Llama 3.2 auf Mobilgeräten auszuführen und ebnet so den Weg für effizientere, privatere und reaktionsfähigere KI-Anwendungen.

Meta hat vier Varianten von Llama 3.2 veröffentlicht:

• Multimodale Modelle mit 11 Milliarden (11B) und 90 Milliarden (90B) Parametern.
• Nur-Text-Modelle mit 1 Milliarde (1B) und 3 Milliarden (3B) Parametern.

Die größeren Modelle, insbesondere die 11B- und 90B-Varianten, zeichnen sich durch Aufgaben wie Bildverständnis und Diagrammbegründung aus, übertreffen oft andere Modelle wie Claude 3 Haiku und konkurrieren in bestimmten Fällen sogar mit GPT-4o-mini. Andererseits sind die leichten 1B- und 3B-Modelle für die Textgenerierung und Mehrsprachigkeit konzipiert und eignen sich daher ideal für Anwendungen auf dem Gerät, bei denen Datenschutz und Effizienz im Vordergrund stehen.

In dieser Anleitung zeigen wir Ihnen, wie Sie Llama 3.2 auf einem Android-Gerät mit Termux und Ollama ausführen. Termux bietet eine Linux-Umgebung auf Android und Ollama hilft bei der lokalen Verwaltung und Ausführung großer Modelle.

Warum Llama 3.2 lokal ausführen?

Das lokale Ausführen von KI-Modellen bietet zwei große Vorteile:

1. Sofortige Verarbeitung da alles auf dem Gerät abgewickelt wird.
2. Verbesserter Datenschutz da keine Notwendigkeit besteht, Daten zur Verarbeitung an die Cloud zu senden.

Auch wenn es noch nicht viele Produkte gibt, mit denen mobile Geräte Modelle wie Llama 3.2 reibungslos ausführen können, können wir es dennoch mit einer Linux-Umgebung auf Android erkunden.

Schritte zum Ausführen von Llama 3.2 auf Android

1. Installieren Sie Termux auf Android

Termux ist ein Terminalemulator, der es Android-Geräten ermöglicht, eine Linux-Umgebung auszuführen, ohne Root-Zugriff zu benötigen. Es ist kostenlos verfügbar und kann von der Termux-GitHub-Seite heruntergeladen werden.

Laden Sie für dieses Handbuch die Datei termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk herunter und installieren Sie sie auf Ihrem Android-Gerät.

2. Richten Sie Termux ein

Nach dem Start von Termux befolgen Sie diese Schritte, um die Umgebung einzurichten:

1. Speicherzugriff gewähren:

   termux-setup-storage

Mit diesem Befehl kann Termux auf den Speicher Ihres Android-Geräts zugreifen und so die Dateiverwaltung vereinfachen.

1. Pakete aktualisieren:

   pkg upgrade

Geben Sie Y ein, wenn Sie aufgefordert werden, Termux und alle installierten Pakete zu aktualisieren.

1. Grundlegende Tools installieren:

   pkg install git cmake golang

Diese Pakete umfassen Git zur Versionskontrolle, CMake zum Erstellen von Software und Go, die Programmiersprache, in der Ollama geschrieben ist.

3. Installieren und kompilieren Sie Ollama

Ollama ist eine Plattform zum lokalen Ausführen großer Modelle. So installieren und richten Sie es ein:

1. Ollamas GitHub-Repository klonen:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Navigieren Sie zum Ollama-Verzeichnis:

   cd ollama

1. Go-Code generieren:

   go generate ./...

1. Ollama bauen:

   go build .

1. Ollama-Server starten:

   ./ollama serve &

Jetzt läuft der Ollama-Server im Hintergrund, sodass Sie mit den Modellen interagieren können.

4. Ausführen von Llama 3.2-Modellen

Um das Llama 3.2-Modell auf Ihrem Android-Gerät auszuführen, befolgen Sie diese Schritte:

1. Wählen Sie ein Modell:

   • Modelle wie llama3.2:3b (3 Milliarden Parameter) stehen zum Testen zur Verfügung. Diese Modelle werden aus Effizienzgründen quantisiert. Eine Liste der verfügbaren Modelle finden Sie auf der Website von Ollama.

2. Laden Sie das Llama 3.2-Modell herunter und führen Sie es aus:
   

   ./ollama run llama3.2:3b --verbose

Das Flag --verbose ist optional und stellt detaillierte Protokolle bereit. Nachdem der Download abgeschlossen ist, können Sie mit der Interaktion mit dem Modell beginnen.

5. Leistungsmanagement

Beim Testen von Llama 3.2 auf Geräten wie dem Samsung S21 Ultra war die Leistung beim 1B-Modell reibungslos und beim 3B-Modell beherrschbar, obwohl Sie bei älterer Hardware möglicherweise eine Verzögerung bemerken. Wenn die Leistung zu langsam ist, kann der Wechsel zum kleineren 1B-Modell die Reaktionsfähigkeit deutlich verbessern.

Optionale Bereinigung

Nach der Verwendung von Ollama möchten Sie möglicherweise das System bereinigen:

1. Unnötige Dateien entfernen:

   chmod -R 700 ~/go
   rm -r ~/go

1. Ollama-Binärdatei auf einen globalen Pfad verschieben:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Jetzt können Sie ollama direkt vom Terminal aus ausführen.

Abschluss

Llama 3.2 stellt einen großen Fortschritt in der KI-Technologie dar und bringt leistungsstarke, multimodale Modelle auf mobile Geräte. Durch die lokale Ausführung dieser Modelle mit Termux und Ollama können Entwickler das Potenzial datenschutzorientierter KI-Anwendungen auf dem Gerät erkunden, die nicht auf eine Cloud-Infrastruktur angewiesen sind. Mit Modellen wie Llama 3.2 sieht die Zukunft der mobilen KI rosig aus und ermöglicht schnellere und sicherere KI-Lösungen in verschiedenen Branchen.