Para aqueles que não estão familiarizados com o projeto llamafile, a equipe Mozilla Ocho está trabalhando para remover a complexidade que envolve a instalação de LLMs combinando llama.cpp e Cosmopolitan Libc, ambos utilizando o C/ Linguagem de programação C. Llamafile usa a inferência do modelo LLaMA do Meta fornecido por llama.cpp e o emparelha com a transformação build-once run-anywhere de C da Cosmopolitan Libc. Cosmopolitan Libc também elimina a necessidade de um intérprete ou máquina virtual para executar C em máquinas Linux, Mac e Windows.

A última adição ao projeto llamafile, Whisperfile, foi detalhada no perfil Hugging Face da Mozilla. De acordo com sua página, “Whisperfile é uma implementação de alto desempenho do Whisper da OpenAI criada por Mozilla Ocho como parte do projeto llamafile, baseado no software Whisper.cpp escrito por Georgi Gerganov, et al.” Para o projeto, a equipe empacotou todos os pesos necessários para o modelo em “whisperfiles” que mantêm os recursos encontrados no Cosmopolitan Libc, permitindo que o modelo seja executado na maioria dos sistemas.

A documentação “Getting Started with Whisperfile” no O perfil do GitHub da equipe detalha um processo de instalação simples que consiste em apenas três etapas. Depois que o usuário baixa o modelo, cria o software e executa o programa, ele pode escolher entre três modelos diferentes para começar a transcrever o áudio. Os modelos variam de pequenos a grandes, sendo a velocidade trocada pela precisão no processo de transcrição. Além disso, o Whisperfile pode traduzir diferentes idiomas para o inglês usando o modelo multilíngue e o sinalizador “--translate”.

Para obter informações sobre llamafile, Whisperfile e detalhes adicionais sobre o processo de instalação, visite os recursos abaixo.