Como a Microsoft ensinou um modelo de IA a parar de mentir que terminou o trabalho
Pesquisadores da Microsoft e Hugging Face criaram um método que treina modelos de linguagem usando o estado final de bancos de dados como recompensa, triplicando a taxa de tarefas concluídas corretamente em todas as tentativas
A Microsoft e a Hugging Face criaram o ThinkingBox, um método que treina modelos de IA usando o estado final de bancos de dados como recompensa em aprendizado por reforço (técnica em que o modelo aprende com tentativa e erro). Aplicado ao Qwen 3.8, triplicou as tarefas concluídas corretamente em todas as tentativas.
Imagine um assistente de IA que fecha o ticket de um cliente como resolvido, mas deixa o problema real ainda aberto no sistema. Parece que funcionou — nove comandos executados, mensagem de confirmação enviada — mas basta olhar o banco de dados para ver que uma linha crucial continua errada. Foi exatamente esse tipo de erro que levou pesquisadores da Microsoft e da Hugging Face a criar o ThinkingBox, um sistema que avalia agentes de IA (programas autônomos que executam tarefas usando ferramentas) comparando o que eles dizem ter feito com o que realmente mudou no banco de dados.
O pulo do gato veio depois. A equipe percebeu que essa verificação executável — um simples 1 ou 0 baseado no estado final dos registros — podia servir não só para avaliar, mas para treinar. Eles construíram um conjunto de tarefas fora do benchmark original (o ThinkingBox-Bench, com 507 tarefas que testam agentes em cinco domínios diferentes: varejo, seguros, viagens, banco digital e consultoria) e usaram o resultado dessas verificações como função de recompensa durante o treinamento por reforço (um método em que o modelo aprende tentando, errando e recebendo feedback numérico sobre o que deu certo).
Aplicado ao Qwen 3.8 (um modelo de linguagem de grande porte, ou LLM, da empresa chinesa Alibaba, com 27 bilhões de parâmetros — os números ajustáveis que definem como ele responde), o método elevou a taxa média de sucesso de 51,70% para 60,78% após cinquenta rodadas de ajuste fino com GRPO (Group Relative Policy Optimization, uma técnica de aprendizado por reforço que compara múltiplas tentativas de resolver a mesma tarefa). Mais impressionante: o número de tarefas concluídas corretamente em todas as vinte tentativas saltou de 38 para 107 — quase triplicou.
O segredo estava em escolher as tarefas certas para treinar. A maioria das tarefas ou já é fácil demais (o modelo acerta sempre) ou impossível demais (ele nunca acerta), e nenhuma das duas ensina nada. Os pesquisadores estimaram a dificuldade relativa à política atual — isto é, quão difícil cada tarefa era especificamente para aquela versão do modelo, antes do treino — e montaram um conjunto fixo de exercícios que ficava na zona intermediária. Num exemplo concreto: antes do treinamento, um agente mudava a reserva de hotel de um viajante corporativo sem pedir aprovação gerencial (exigida pela política da empresa) em 15 de 20 tentativas; depois do ajuste fino, preservou o estado correto da reserva e do pagamento nas 20.
O ganho em confiabilidade veio com um custo pequeno, mas mensurável: o número de tarefas resolvidas pelo menos uma vez caiu de 453 para 446 (de 89,35% para 87,97% do benchmark). Segundo informou a equipe no blog da Hugging Face, isso sugere que o treinamento trocou cobertura ampla por execução consistente — exatamente o que sistemas de produção que mexem em registros reais precisam. O código completo do ThinkingBox-Training já está disponível no GitHub, e os pesquisadores indicam que o próximo passo é aplicar o método a modelos maiores e expandir os domínios testados.
