Llama 3.2 最近在 Meta 開發者大會上推出，展示了令人印象深刻的多模式功能以及針對使用高通和聯發科技硬體的行動裝置進行最佳化的版本。這項突破使開發人員能夠在行動裝置上運行 Llama 3.2 等強大的 AI 模型，為更高效、私密和響應迅速的 AI 應用程式鋪平道路。

Meta 發布了 Llama 3.2 的四個變體：

• 多模式模型具有 110 億 (11B) 和 900 億 (90B) 參數。
• 純文字模型 具有 10 億 (1B) 和 30 億 (3B) 參數。

較大的模型，尤其是11B 和90B 變體，在圖像理解和圖表推理等任務中表現出色，通常優於Claude 3 Haiku 等其他模型，甚至在某些情況下與GPT-4o-mini競爭。另一方面，輕量級 1B 和 3B 模型專為文字生成和多語言功能而設計，使其成為一個在註重隱私和效率的裝置上應用程式的理想選擇。

在本指南中，我們將向您展示如何使用 Termux 和 Ollama 在 Android 裝置上運行 Llama 3.2。 Termux 在 Android 上提供 Linux 環境，Ollama 協助在本地管理和運行大型模型。

為什麼在本地運行 Llama 3.2？

在本地運行人工智慧模式有兩大好處：

1. 瞬時處理因為一切都在設備上處理。
2. 增強隱私性，因為無需將資料傳送到雲端進行處理。

儘管目前支援行動裝置流暢運行Llama 3.2這樣的模型的產品還不多，但我們仍然可以在Android上使用Linux環境來探索它。

在 Android 上運行 Llama 3.2 的步驟

1.在Android上安裝Termux

Termux 是一個終端模擬器，可讓 Android 裝置無需 root 存取即可運行 Linux 環境。它是免費的，可以從 Termux GitHub 頁面下載。

對於本指南，請下載 termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk 並將其安裝在您的 Android 裝置上。

2. 設定 Termux

啟動 Termux 後，請依照下列步驟設定環境：

1. 授予儲存存取權限：

   termux-setup-storage

此指令可讓 Termux 存取 Android 裝置的儲存空間，從而更輕鬆地管理檔案。

1. 更新包：

   pkg upgrade

當提示更新 Termux 和所有已安裝的軟體套件時，輸入 Y。

1. 安裝基本工具：

   pkg install git cmake golang

這些軟體包包括用於版本控制的 Git、用於建立軟體的 CMake 以及編寫 Ollama 的程式語言 Go。

3.安裝並編譯Ollama

Ollama 是一個在本地運行大型模型的平台。安裝與設定方法如下：

1. 複製 Ollama 的 GitHub 儲存庫：

   git clone --depth 1 https://github.com/ollama/ollama.git

1. 導覽至 Ollama 目錄：

   cd ollama

1. 產生Go代碼：

   go generate ./...

1. 建構奧拉瑪：

   go build .

1. 啟動 Ollama 伺服器：

   ./ollama serve &

現在 Ollama 伺服器將在背景運行，允許您與模型互動。

4. 運行 Llama 3.2 模型

要在 Android 裝置上執行 Llama 3.2 模型，請依照下列步驟操作：

1. 選擇型號：

   • 像llama3.2:3b（30億個參數）這樣的模型可供測試。為了提高效率，這些模型被量化。您可以在 Ollama 的網站上找到可用型號的清單。

2. 下載並運行 Llama 3.2 模型：
   

   ./ollama run llama3.2:3b --verbose

--verbose 標誌是可選的，並提供詳細的日誌。下載完成後，您可以開始與模型互動。

5. 績效管理

在 Samsung S21 Ultra 等設備上測試 Llama 3.2 時，1B 型號的性能很流暢，3B 型號的性能易於管理，儘管您可能會注意到舊硬體上的延遲。如果效能太慢，切換到較小的 1B 模型可以顯著提高反應能力。

可選清理

使用Ollama後，您可能需要清理系統：

1. 刪除不需要的檔案：

   chmod -R 700 ~/go
   rm -r ~/go

1. 將 Ollama 二進位檔案移至全域路徑：

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

現在，您可以直接從終端運行ollama。

結論

Llama 3.2 代表了人工智慧技術的重大飛躍，為行動裝置帶來了強大的多模式模型。透過使用 Termux 和 Ollama 在本地運行這些模型，開發人員可以探索不依賴雲端基礎架構的隱私優先、裝置上 AI 應用程式的潛力。有了像 Llama 3.2 這樣的模型，行動 AI 的未來看起來很光明，可以為各個行業提供更快、更安全的 AI 解決方案。