Modelos de IA mais novos mantêm a mesma vantagem de custo dos antigos
Experimentos com GPT-4o e Llama 3.3 mostram que rodar modelos localmente ainda sai mais barato do que usar APIs pagas — mesmo com os lançamentos mais recentes.
Modelos de inteligência artificial mais novos continuam oferecendo a mesma vantagem econômica que os anteriores quando rodados localmente, em vez de por meio de APIs pagas. É o que mostra um novo experimento da Dharma AI, segundo informou a Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados). A empresa comparou os custos de usar o GPT-4o (o modelo mais recente da OpenAI, lançado em maio de 2024) e o Llama 3.3 70B (um modelo de pesos abertos — ou seja, disponível gratuitamente para download e uso — lançado pela Meta em dezembro de 2024) em diferentes cenários.
O teste simulou cargas de trabalho típicas de empresas, como processamento de documentos e análise de dados em grande escala. Rodando o Llama 3.3 em servidores próprios ou alugados, o custo por milhão de tokens (unidades de texto que o modelo processa) ficou entre US$ 0,10 e US$ 0,50, dependendo da infraestrutura escolhida. Já o GPT-4o, acessado pela API da OpenAI, custa US$ 2,50 por milhão de tokens de entrada e US$ 10,00 por milhão de tokens de saída — ou seja, de 5 a 25 vezes mais caro.
A diferença de preço se mantém mesmo levando em conta os custos de hospedar o modelo localmente, como aluguel de GPUs (chips especializados em rodar IA) na nuvem ou manutenção de servidores. Para empresas que processam grandes volumes de dados diariamente — como chatbots internos, sistemas de análise de contratos ou ferramentas de atendimento ao cliente — a economia pode chegar a dezenas de milhares de dólares por mês.
Outro ponto destacado pela Dharma AI é que modelos locais oferecem mais controle sobre privacidade e personalização. Enquanto APIs enviam os dados para servidores de terceiros, rodar um modelo dentro da própria infraestrutura permite que a empresa mantenha informações sensíveis em casa e ajuste o comportamento do modelo com técnicas como fine-tuning (retreinamento com dados específicos da empresa). Isso é especialmente relevante para setores regulados, como saúde e finanças.
O experimento também testou a latência (tempo de resposta) e a qualidade das respostas. O Llama 3.3, rodando em hardware adequado, entregou tempos de resposta competitivos com o GPT-4o, e a qualidade das respostas foi considerada comparável em tarefas como sumarização, tradução e perguntas e respostas. A conclusão é que, para muitas aplicações, modelos de pesos abertos já não são apenas uma alternativa mais barata — são tecnicamente viáveis e, em alguns casos, preferíveis.
