Como rodar modelos de linguagem grandes no seu celular sem precisar de internet
Tutorial da Hugging Face mostra como usar React Native para executar LLMs localmente em smartphones, sem depender de servidores na nuvem.
A Hugging Face publicou um tutorial que ensina como executar LLMs (modelos de IA que entendem e geram texto) direto no celular, sem internet, usando React Native e modelos leves como o Llama 3.2 1B e o SmolLM. Tudo roda localmente, mantendo seus dados no aparelho.
Rodar um modelo de linguagem grande — ou LLM (sigla em inglês para Large Language Model, sistemas de IA como o ChatGPT que entendem e geram texto) — direto no celular, sem precisar de internet nem mandar seus dados para a nuvem, deixou de ser ficção científica. A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) publicou um guia técnico que ensina como fazer isso usando React Native (um framework popular para criar aplicativos de celular com JavaScript), segundo informou a empresa em seu blog oficial.
O tutorial usa modelos otimizados para rodar em dispositivos móveis, como o Llama 3.2 1B (uma versão leve de um LLM da Meta com 1 bilhão de parâmetros — os números que definem o comportamento do modelo) e o SmolLM (um modelo ainda menor, criado especialmente para funcionar bem em celulares). A execução acontece toda no aparelho, o que significa que seus dados ficam no telefone e o aplicativo funciona mesmo sem conexão. Para tornar isso viável, o guia ensina a usar o ExecuTorch (uma ferramenta do Meta para rodar modelos de IA em dispositivos com poucos recursos) e o formato GGUF (um padrão de compressão que torna os modelos menores e mais rápidos).
A abordagem é especialmente útil para quem quer criar assistentes pessoais, ferramentas de tradução ou resumo de textos que funcionem offline, sem compartilhar informações sensíveis com servidores externos. O guia é voltado para desenvolvedores com conhecimento básico de React Native e inclui exemplos de código, instruções de instalação e links para modelos prontos no repositório da Hugging Face. Segundo a empresa, o objetivo é democratizar o acesso a IA local, mostrando que não é preciso um servidor potente ou uma GPU (chip especializado em processamento de gráficos e IA) de última geração para experimentar essas tecnologias.
O movimento faz parte de uma tendência mais ampla da indústria, chamada de edge AI (IA na borda, ou seja, processamento direto no dispositivo final, em vez de na nuvem). Grandes empresas como Google e Apple já embarcaram versões simplificadas de seus modelos em celulares — o Gemini Nano no Android e modelos do Apple Intelligence no iPhone são exemplos. O tutorial da Hugging Face, porém, permite que qualquer desenvolvedor construa soluções personalizadas com modelos de pesos abertos (modelos cujos parâmetros e arquitetura são públicos e podem ser baixados e modificados livremente), sem depender de ecossistemas fechados.
