Como a ServiceNow cria dados de treino que ensinam agentes de IA a funcionar dentro de empresas
A equipe de IA da ServiceNow desenvolveu um sistema que identifica onde um modelo de inteligência artificial falha em tarefas corporativas e gera automaticamente milhares de exemplos de treino para corrigir essas fraquezas específicas
A ServiceNow desenvolveu o AutoSynthData, um sistema que avalia onde um modelo de IA falha em tarefas corporativas, compara com um modelo mais forte, identifica padrões nessas falhas e gera automaticamente milhares de novas tarefas de treino (exemplos para fine-tuning, um processo de aprendizado supervisionado) que exercitam essas mesmas habilidades em situações variadas, validando cada tarefa no ambiente real antes de usá-la.
Empresas que querem usar agentes de IA (programas que executam tarefas de forma autônoma, como responder tickets ou configurar sistemas) enfrentam um problema: mesmo modelos avançados tropeçam em fluxos de trabalho específicos, combinações de ferramentas internas ou regras próprias de cada organização. Identificar essas falhas é fácil — transformá-las em dados de treino que melhorem o modelo é outra história. A equipe CoreAI da ServiceNow (uma empresa americana de software para gestão de TI) criou o AutoSynthData justamente para fazer isso: um sistema que observa onde um modelo erra, compara com o que um modelo mais forte faria corretamente e gera milhares de novas tarefas de treino focadas nessas fraquezas, segundo informou a empresa em artigo técnico publicado no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados).
O processo começa avaliando o modelo-alvo em tarefas diagnósticas dentro de um ambiente corporativo simulado — no caso do experimento descrito pela ServiceNow, o EnterpriseOps Gym (um ambiente de testes que simula operações de TI empresarial). O sistema registra quais tarefas o modelo não consegue completar e compara com as respostas de um modelo mais capaz, identificando padrões: quais ferramentas estavam envolvidas, que tipo de fluxo de trabalho foi solicitado, onde exatamente o modelo errou. Essas observações viram fichas de especificação que descrevem a habilidade que precisa ser treinada, mas sem copiar as tarefas originais — o gerador recebe apenas a descrição da capacidade, não os prompts, entidades ou trajetórias usadas no diagnóstico.
A partir dessas fichas, o AutoSynthData gera centenas de novas tarefas que exercitam a mesma habilidade em situações diferentes: muda as entidades envolvidas, o estado inicial do ambiente, a combinação de ferramentas, a redação da solicitação e o nível de dificuldade. Para cada tarefa gerada, o modelo mais forte demonstra uma trajetória de sucesso — essas demonstrações viram os exemplos de treino usados em fine-tuning supervisionado (um processo em que o modelo aprende imitando exemplos corretos). O sistema funciona em duas fases: primeiro cria e valida um conjunto central de amostras ligadas às fraquezas identificadas, depois expande esse conjunto gerando variantes de cada amostra aceita, sempre verificando que as novas tarefas são executáveis e que as soluções realmente funcionam.
Cada tarefa gerada precisa passar por validações rigorosas antes de entrar no conjunto de treino. Ela precisa ser factível — deve existir pelo menos uma maneira de completá-la com as ferramentas e permissões disponíveis no ambiente. Precisa ser realista — deve parecer algo que um usuário real pediria, não apenas uma combinação arbitrária de ações possíveis. E precisa ser difícil o suficiente para ensinar algo novo ao modelo atual. Além disso, cada tarefa vem com um verificador automático que determina se a solução está correta, e esse verificador não pode ser nem frouxo demais (aceitando respostas erradas) nem restritivo demais (rejeitando soluções válidas só porque seguem um caminho diferente do esperado). A abordagem da ServiceNow mostra que gerar um prompt plausível é apenas o começo — dados sintéticos úteis exigem validação no ambiente real, execução das soluções propostas e verificação rigorosa dos resultados.
