Novos modelos de IA da Falcon rodam em qualquer celular e custam quase nada
A série Falcon-Edge traz modelos de linguagem compactados em 1,58 bits que funcionam até em smartphones antigos, consumindo pouquíssima memória e energia, sem depender de servidores na nuvem.
A TII lançou a Falcon-Edge, uma série de modelos de linguagem que usam quantização extrema (compressão de parâmetros para 1,58 bits) e rodam localmente em celulares, tablets e dispositivos simples, sem precisar de internet ou servidores na nuvem. São modelos de pesos abertos, gratuitos e ajustáveis para diferentes tarefas.
A TII (Instituto de Inovação Tecnológica dos Emirados Árabes Unidos) acaba de lançar a série Falcon-Edge, uma família de modelos de linguagem que promete rodar inteligência artificial diretamente no seu celular — mesmo que ele seja de alguns anos atrás. Segundo informou a Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), esses modelos usam uma técnica chamada quantização extrema, que comprime os parâmetros (os números que controlam o comportamento do modelo) para apenas 1,58 bits cada um. Na prática, isso significa que um modelo com bilhões de parâmetros ocupa menos memória do que um jogo de celular comum.
A novidade importa porque os modelos de linguagem tradicionais — os LLMs (large language models, ou modelos de linguagem grandes) como o GPT ou o Gemini — costumam rodar em servidores potentes na nuvem, consumindo muita energia e exigindo conexão constante à internet. Com o Falcon-Edge, a IA roda localmente, ou seja, tudo acontece dentro do próprio aparelho. Isso é especialmente útil em regiões com internet instável, em aplicações que exigem privacidade (já que os dados não saem do dispositivo) ou em dispositivos com pouca capacidade de processamento, como câmeras de segurança, drones ou assistentes de voz baratos.
A família inclui modelos de diferentes tamanhos — de 0,5 bilhão a 8 bilhões de parâmetros — todos com pesos abertos (ou seja, qualquer pessoa pode baixar, modificar e usar sem pagar royalties). Eles já vêm ajustados para tarefas comuns, mas também podem ser refinados (fine-tuning, o processo de retreinar um modelo em dados específicos) para necessidades particulares, como atendimento ao cliente ou análise de documentos médicos. Segundo a TII, os testes internos mostram que o desempenho em raciocínio, matemática e compreensão de texto é comparável ao de modelos muito maiores, mas com custo computacional até 10 vezes menor.
A aposta em modelos compactos e eficientes reflete uma tendência do setor: enquanto empresas como OpenAI e Google competem para criar os LLMs mais poderosos (e caros), outras exploram o caminho inverso — fazer mais com menos. A Falcon-Edge não vai substituir o GPT-4 em tarefas complexas, mas pode democratizar o acesso à IA funcional em lugares onde servidores na nuvem simplesmente não são viáveis. Os modelos já estão disponíveis para download na Hugging Face, gratuitamente.
