Como treinar um modelo de IA a raciocinar usando apenas 3 mil exemplos e um jogo de contagem
Tutorial da Hugging Face mostra que é possível recriar o momento eureca do DeepSeek R1 com aprendizado por reforço em uma tarefa simples, sem precisar de supercomputadores nem milhões de dados rotulados.
A Hugging Face publicou um tutorial que ensina a treinar um modelo pequeno de IA para raciocinar passo a passo usando aprendizado por reforço (método em que a IA aprende por tentativa e erro). O experimento usa apenas 3 mil exemplos, um jogo de contagem e hardware comum, mostrando que técnicas do DeepSeek R1 podem ser reproduzidas sem supercomputadores.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) publicou um tutorial prático que mostra como ensinar um modelo pequeno de linguagem a raciocinar passo a passo — o famoso "momento aha" que tornou o DeepSeek R1 (um modelo chinês de IA que compete com o ChatGPT da OpenAI) notícia mundial. A diferença é que esse experimento usa apenas 3 mil exemplos de treino, um jogo de contagem regressiva e técnicas de aprendizado por reforço (RL, um método em que a IA aprende tentando, errando e recebendo pontos quando acerta) que rodam em hardware comum.
O tutorial parte de um modelo base chamado Qwen 2.5 0.5B (uma IA de linguagem com meio bilhão de parâmetros, o que é considerado pequeno para os padrões atuais) e o treina para resolver um problema aparentemente simples: dados três números, como 73, 26 e 12, chegar a zero usando apenas soma, subtração, multiplicação e divisão. O truque é que o modelo precisa mostrar o raciocínio — escrever cada passo intermediário antes de dar a resposta final, exatamente como o DeepSeek R1 faz quando resolve questões de matemática ou programação.
O que torna o experimento relevante é a técnica: em vez de mostrar milhões de exemplos corretos (o método tradicional chamado supervised learning, ou aprendizado supervisionado), os pesquisadores usaram GRPO (Group Relative Policy Optimization, um algoritmo de otimização de políticas em grupo). Na prática, o modelo gera várias respostas para o mesmo problema, compara quais levaram ao resultado certo e ajusta seus "pesos" (os números internos que determinam como a IA se comporta) para repetir os caminhos que funcionaram. É o equivalente computacional de aprender xadrez jogando contra si mesmo.
Segundo o tutorial, o modelo Mini-R1 resultante consegue resolver problemas do jogo de contagem que nunca viu antes, generalizando o raciocínio aprendido. O código completo está disponível no GitHub e pode ser rodado em uma GPU (unidade de processamento gráfico, o chip especializado que acelera cálculos de IA) de nível médio. A Hugging Face enfatiza que o objetivo não é competir com modelos gigantes, mas democratizar o acesso às técnicas que os tornam poderosos — mostrando que raciocínio emergente não é magia proprietária, mas engenharia reproduzível.
O timing do tutorial não é casual: após o lançamento do DeepSeek R1 em janeiro de 2025, a comunidade de IA de código aberto (open source, projetos cujo código é público e pode ser modificado por qualquer pessoa) tem corrido para entender e replicar suas capacidades de raciocínio. Este experimento com o jogo de contagem é deliberadamente simplificado — um "laboratório controlado" onde pesquisadores e estudantes podem ver o aprendizado por reforço funcionando sem precisar de clusters de servidores nem semanas de treino. A mensagem implícita: se funciona em um jogo de números, os mesmos princípios podem escalar para tarefas mais complexas.
