Como uma startup cortou em 77% o custo de rodar IA mudando só o vocabulário do modelo
A Dharma AI descobriu que o tokenizador — a peça que divide texto em pedaços que o modelo entende — desperdiçava recursos em um corretor automático de redações, e criou um método que escolhe palavras e frases pela economia que geram, não pela frequência com que aparecem
A Dharma AI criou o VocabX, um método que adapta o tokenizador (a peça que divide texto em pedaços processáveis) de um modelo de linguagem para o domínio específico em que ele opera, escolhendo tokens pelo custo que economizam em vez da frequência com que aparecem. Em um corretor automático de redações, o método cortou o custo de inferência (rodar o modelo para gerar respostas) em 77% sem trocar o modelo base nem os dados de treinamento, apenas reconstruindo o vocabulário para eliminar fragmentação e excesso.
A Dharma AI, uma startup que desenvolve sistemas de inteligência artificial, conseguiu reduzir em 77% o custo de rodar um modelo de linguagem (o tipo de IA que lê e escreve texto, como o ChatGPT) em produção — sem trocar o modelo base nem retreiná-lo do zero. A descoberta, que será publicada em breve em um artigo científico chamado VocabX, está em uma peça do sistema que costuma ser ignorada: o tokenizador, o componente que divide o texto em pedacinhos (tokens) que o modelo consegue processar.
O caso aconteceu em um corretor automático de redações em português que a empresa opera com base no Qwen3-4B (um modelo de linguagem de código aberto com 4 bilhões de parâmetros, ou seja, variáveis internas que definem seu comportamento). O corretor recebe uma redação, a proposta e os textos de apoio, e devolve uma avaliação em JSON (um formato de dados estruturado muito usado em programação) com nota e comentário para cada competência. O modelo era pequeno e já tinha sido treinado para a tarefa, mas usava o tokenizador original do Qwen3-4B — construído para funcionar em muitos idiomas e tipos de texto. No corretor, ele servia apenas português e um formato fixo de resposta, o que gerava dois tipos de desperdício ao mesmo tempo.
O primeiro era a fragmentação: o tokenizador cortava em vários pedaços justamente o que o sistema mais repetia. Cada resposta começava com o mesmo envelope JSON, os mesmos nomes de competências, as mesmas frases de avaliação — sequências que custavam vários tokens onde um bastaria. O segundo era o excesso: o vocabulário carregava 151.669 entradas, incluindo milhares que essa aplicação nunca usava, e o modelo calculava a probabilidade de cada uma delas a cada token gerado. Um modelo ajustado para corrigir provas de biologia nos Estados Unidos quase nunca vai escrever em chinês, mas ainda assim calcula a chance de cada token em chinês a cada passo.
A solução criada pela Dharma AI, chamada VocabX, muda o critério de escolha: em vez de selecionar tokens pela frequência com que aparecem (o padrão atual), escolhe pelo quanto economizam. Cada token eliminado é multiplicado pelo custo do campo em que aparece — porque gerar texto custa muito mais do que ler. Durante a inferência (o processo de rodar o modelo para produzir uma resposta), há duas fases: no prefill, o modelo processa toda a entrada de uma vez; no decode, gera a resposta token por token, lendo os pesos (os parâmetros do modelo) da memória da GPU (o processador gráfico que faz os cálculos) a cada passo. Como a GPU passa a maior parte do tempo esperando os dados chegarem, cada token gerado custa 7,4 vezes mais do que um lido — no caso medido, mas a proporção varia com o hardware e o problema.
O VocabX trabalha em duas camadas ao mesmo tempo. Na camada de sub-palavras, reconstrói como as palavras do domínio são cortadas em pedaços menores. Na camada de múltiplas palavras, procura trechos inteiros que se repetem — de expressões curtas a linhas completas e envelopes JSON — e transforma cada um em um único token, chamado de macro token. Ambas as camadas são escolhidas pelo mesmo critério de custo, cada uma com seu próprio orçamento. No corretor, a camada de saída do modelo (o LM head, que transforma o estado interno em uma pontuação para cada token possível) caiu de cerca de 152 mil linhas para 65 mil, e o custo medido de inferência despencou 77%, sem mudar o modelo base, os dados de treinamento nem a receita de ajuste fino (fine-tuning, o processo de adaptar um modelo geral para uma tarefa específica).
Métodos anteriores na literatura, como fast vocabulary transfer (FVT), multi-word tokenization (MWT) e a expansão de tokenizador in-place da Liquid AI (in-place BPE, que continua o treinamento BPE — byte pair encoding, um algoritmo comum de tokenização — a partir do vocabulário original), já reduziam a fragmentação, mas escolhiam tokens por frequência, não por custo, e trabalhavam em uma única camada. Nenhum deles atacava ao mesmo tempo a fragmentação de palavras e a repetição de frases longas. O artigo completo com a descrição técnica do VocabX está em revisão e será publicado em breve pela equipe da Dharma AI no Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados).
