Como servir modelos de IA ficou mais rápido com uma mudança simples de arquitetura
Hugging Face lança técnica que permite processar múltiplas requisições ao mesmo tempo sem desperdiçar recursos de GPU.
A Hugging Face (plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) anunciou uma melhoria técnica que pode tornar chatbots e aplicações de inteligência artificial até três vezes mais rápidos, segundo informou a empresa em seu blog oficial. A novidade está em como os servidores organizam o trabalho ao rodar modelos de linguagem grandes, os chamados LLMs (Large Language Models, sigla em inglês para os sistemas de IA generativa como o ChatGPT).
O problema que a equipe resolveu tem a ver com o chamado "continuous batching" (processamento contínuo em lote), uma técnica usada para atender várias pessoas ao mesmo tempo sem desperdiçar capacidade de processamento. Até agora, quando um servidor precisava buscar informações adicionais — por exemplo, consultar uma base de dados ou chamar outra ferramenta enquanto gerava uma resposta —, ele ficava travado esperando, sem fazer nada útil nesse meio-tempo. É como se um caixa de supermercado parasse de atender todos os clientes só porque um deles foi buscar um produto que esqueceu.
A solução desenvolvida pela Hugging Face permite que o sistema continue processando outras requisições enquanto espera por essas operações externas, uma abordagem chamada de "asynchronous continuous batching" (processamento assíncrono contínuo em lote). Na prática, isso significa que a GPU (chip especializado em cálculos de IA) nunca fica ociosa: enquanto uma tarefa espera dados externos, outras avançam. Em testes internos com agentes de IA (sistemas que podem usar ferramentas e tomar decisões por conta própria), a técnica triplicou a velocidade de processamento comparada ao método tradicional.
A mudança já está disponível na biblioteca TGI (Text Generation Inference, ferramenta de código aberto mantida pela Hugging Face para rodar modelos de linguagem em produção) e pode ser ativada por qualquer desenvolvedor que use a plataforma. Para quem opera serviços de IA em larga escala, isso representa economia real: processa-se mais requisições com o mesmo hardware, reduzindo custos de infraestrutura. A técnica é especialmente útil para aplicações que dependem de RAG (Retrieval-Augmented Generation, sistema que busca informações em bases de dados antes de gerar uma resposta) ou agentes que precisam consultar APIs externas durante a geração de texto.
