Nova técnica da IBM reduz em 90% o custo de raciocínio em modelos de IA

Pesquisadores da IBM desenvolveram uma técnica que reduz drasticamente o número de tokens (as unidades de texto que modelos de linguagem processam) necessários para realizar tarefas de raciocínio complexo. Batizado de ALTK (Adaptive Latent Thought Token), o método consegue desempenho comparável ao de modelos que "pensam em voz alta" — como o o1 da OpenAI — mas usando apenas 10% dos tokens, segundo informou a equipe no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados).

A técnica funciona assim: em vez de gerar longas cadeias de raciocínio visíveis (aquelas explicações passo a passo que modelos como o o1 mostram antes de responder), o ALTK permite que o modelo "pense" de forma comprimida, usando tokens especiais que não correspondem a palavras legíveis. Esses tokens latentes funcionam como um espaço interno de raciocínio, invisível para quem usa o modelo, mas que permite à IA processar problemas difíceis de forma mais eficiente. O sistema decide automaticamente quantos tokens de pensamento usar em cada etapa, adaptando-se à complexidade da tarefa.

Os ganhos são significativos em termos práticos: usar menos tokens significa gastar menos com APIs (interfaces que permitem acessar modelos de IA pela internet), processar mais requisições por segundo e tornar viável rodar esses modelos em hardware mais barato. A equipe testou o ALTK em benchmarks (conjuntos de testes padronizados) de matemática e raciocínio lógico, e em alguns casos o desempenho foi comparável ao de modelos muito maiores que usam raciocínio explícito.

O código e os modelos treinados já estão disponíveis publicamente no GitHub e na Hugging Face, permitindo que outros pesquisadores repliquem e adaptem a técnica. A IBM também divulgou datasets (conjuntos de dados) sintéticos usados no treinamento, gerados a partir de modelos como o Qwen (uma família de LLMs — modelos de linguagem grandes — desenvolvida pela gigante chinesa Alibaba). A abordagem faz parte de uma tendência mais ampla na pesquisa de IA: criar sistemas que "pensam" de forma mais eficiente, sem depender de raciocínio verborrágico que consome recursos computacionais à toa.