LinkedIn ensina modelo de IA a agir como um assistente usando recompensas

A equipe de IA do LinkedIn publicou um relato detalhado sobre como treinou o GPT-OSS (um modelo de linguagem de código aberto) para agir como um agente autônomo — ou seja, para executar sequências de ações, como pesquisar informações, usar ferramentas e tomar decisões. O processo combinou aprendizado por reforço (uma técnica em que o modelo aprende através de tentativa e erro, recebendo recompensas por acertos) com dados reais de usuários interagindo com assistentes de IA. Segundo a equipe, o objetivo era criar um modelo capaz de não apenas responder perguntas, mas de planejar e executar tarefas do começo ao fim.

O grande desafio técnico foi fazer o treinamento funcionar em escala. A abordagem tradicional de aprendizado por reforço em modelos de linguagem costuma ser lenta e instável, especialmente quando o modelo precisa lidar com sequências longas de ações. A equipe do LinkedIn usou uma técnica chamada PPO (Proximal Policy Optimization, um algoritmo que ajusta os pesos do modelo aos poucos para evitar mudanças bruscas) e adaptou a infraestrutura para rodar milhares de simulações em paralelo. O treinamento levou semanas e exigiu ajustes constantes nos hiperparâmetros (valores que controlam como o modelo aprende, como taxa de aprendizado e tamanho do lote de dados).

Um ponto importante do projeto foi a escolha de recompensas: em vez de apenas premiar respostas corretas, a equipe criou um sistema que avalia se o modelo seguiu um plano coerente, usou as ferramentas certas e chegou a um resultado útil. Isso significa que o modelo não aprende apenas a acertar, mas a raciocinar de forma mais próxima ao que um humano faria ao resolver um problema. A equipe também usou dados de feedback humano coletados em interações reais, o que ajudou o modelo a entender melhor o que os usuários esperam de um assistente.

O LinkedIn disponibilizou no Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) tanto o modelo final quanto os checkpoints intermediários (versões salvas do modelo em diferentes etapas do treinamento), permitindo que outros pesquisadores reproduzam ou adaptem o trabalho. A equipe destaca que o maior aprendizado foi a importância de ter uma infraestrutura robusta e de iterar rapidamente nos experimentos — boa parte do tempo foi gasta depurando erros de código e ajustando a configuração dos servidores, não apenas refinando o algoritmo.

O artigo funciona como um guia prático para quem quer treinar modelos agênticos (modelos que agem de forma autônoma para completar tarefas) usando aprendizado por reforço, com dicas sobre armadilhas comuns e decisões de design que fizeram diferença no projeto. A equipe ressalta que, apesar dos avanços, ainda há muito a melhorar: o modelo às vezes insiste em estratégias ineficazes e pode ter dificuldade com tarefas muito abertas ou ambíguas.