Llama 3.2 foi apresentado recentemente na Meta’s Developer Conference, apresentando recursos multimodais impressionantes e uma versão otimizada para dispositivos móveis usando hardware Qualcomm e MediaTek. Essa inovação permite que os desenvolvedores executem modelos de IA poderosos, como o Llama 3.2, em dispositivos móveis, abrindo caminho para aplicativos de IA mais eficientes, privados e responsivos.

Meta lançou quatro variantes do Llama 3.2:

• Modelos multimodais com 11 bilhões (11B) e 90 bilhões (90B) de parâmetros.
• Modelos somente texto com 1 bilhão (1B) e 3 bilhões (3B) de parâmetros.

Os modelos maiores, especialmente as variantes 11B e 90B, se destacam em tarefas como compreensão de imagens e raciocínio de gráficos, muitas vezes superando outros modelos como Claude 3 Haiku e até mesmo competindo com GPT-4o-mini em certos casos. Por outro lado, os modelos leves 1B e 3B são projetados para geração de texto e recursos multilíngues, tornando-os ideais para aplicações no dispositivo onde a privacidade e a eficiência são fundamentais.

Neste guia, mostraremos como executar o Llama 3.2 em um dispositivo Android usando Termux e Ollama. Termux fornece um ambiente Linux no Android e Ollama ajuda no gerenciamento e execução de grandes modelos localmente.

Por que executar o Llama 3.2 localmente?

Executar modelos de IA localmente oferece dois benefícios principais:

1. Processamento instantâneo já que tudo é tratado no dispositivo.
2. Privacidade aprimorada, pois não há necessidade de enviar dados para a nuvem para processamento.

Embora ainda não existam muitos produtos que permitam que dispositivos móveis executem modelos como o Llama 3.2 sem problemas, ainda podemos explorá-lo usando um ambiente Linux no Android.

Etapas para executar o Llama 3.2 no Android

1. Instale o Termux no Android

Termux é um emulador de terminal que permite que dispositivos Android executem um ambiente Linux sem precisar de acesso root. Ele está disponível gratuitamente e pode ser baixado na página Termux GitHub.

Para este guia, baixe o termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk e instale-o em seu dispositivo Android.

2. Configure o Termux

Após iniciar o Termux, siga estas etapas para configurar o ambiente:

1. Conceder acesso ao armazenamento:

   termux-setup-storage

Este comando permite que o Termux acesse o armazenamento do seu dispositivo Android, facilitando o gerenciamento de arquivos.

1. Pacotes de atualização:

   pkg upgrade

Digite Y quando solicitado a atualizar o Termux e todos os pacotes instalados.

1. Instale ferramentas essenciais:

   pkg install git cmake golang

Esses pacotes incluem Git para controle de versão, CMake para construção de software e Go, a linguagem de programação na qual Ollama foi escrito.

3. Instale e compile o Ollama

Ollama é uma plataforma para executar grandes modelos localmente. Veja como instalar e configurar:

1. Clone o repositório GitHub do Ollama:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Navegue até o diretório Ollama:

   cd ollama

1. Gerar código Go:

   go generate ./...

1. Construir Ollama:

   go build .

1. Iniciar servidor Ollama:

   ./ollama serve &

Agora o servidor Ollama será executado em segundo plano, permitindo que você interaja com os modelos.

4. Executando modelos Llama 3.2

Para executar o modelo Llama 3.2 em seu dispositivo Android, siga estas etapas:

1. Escolha um modelo:

   • Modelos como llama3.2:3b (3 bilhões de parâmetros) estão disponíveis para teste. Esses modelos são quantizados para eficiência. Você pode encontrar uma lista de modelos disponíveis no site da Ollama.

2. Baixe e execute o modelo Llama 3.2:
   

   ./ollama run llama3.2:3b --verbose

O sinalizador --verbose é opcional e fornece logs detalhados. Após a conclusão do download, você pode começar a interagir com o modelo.

5. Gerenciando Desempenho

Ao testar o Llama 3.2 em dispositivos como o Samsung S21 Ultra, o desempenho foi bom para o modelo 1B e gerenciável para o modelo 3B, embora você possa notar atraso em hardware mais antigo. Se o desempenho for muito lento, mudar para o modelo 1B menor pode melhorar significativamente a capacidade de resposta.

Limpeza Opcional

Depois de usar o Ollama, você pode querer limpar o sistema:

1. Remover arquivos desnecessários:

   chmod -R 700 ~/go
   rm -r ~/go

1. Mova o binário Ollama para um caminho global:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Agora, você pode executar ollama diretamente do terminal.

Conclusão

Llama 3.2 representa um grande avanço na tecnologia de IA, trazendo modelos multimodais poderosos para dispositivos móveis. Ao executar esses modelos localmente usando Termux e Ollama, os desenvolvedores podem explorar o potencial de aplicativos de IA no dispositivo que priorizam a privacidade e que não dependem de infraestrutura em nuvem. Com modelos como o Llama 3.2, o futuro da IA ​​móvel parece brilhante, permitindo soluções de IA mais rápidas e seguras em vários setores.