Por que agentes de IA corporativos falham tanto? IBM e Berkeley criaram um teste para descobrir
Novo benchmark revela que mesmo os modelos mais avançados acertam menos de 40% das tarefas em ambientes empresariais reais.
Empresas do mundo todo estão tentando usar agentes de IA (programas que executam tarefas de forma autônoma, como agendar reuniões ou analisar dados) para automatizar trabalho, mas a taxa de fracasso é altíssima. Agora, pesquisadores da IBM e da Universidade da Califórnia em Berkeley descobriram o porquê: criaram o IT-Bench, um teste que simula 300 tarefas reais de TI corporativo, e nenhum modelo atual — nem o GPT-4o (o mais avançado da OpenAI) nem o Claude 3.5 Sonnet (da Anthropic, conhecido por lidar bem com código) — conseguiu acertar mais de 37% das tarefas.
O problema não é apenas desempenho ruim. Os pesquisadores desenvolveram também o MAST (sigla para Método de Análise de Falhas), uma ferramenta que categoriza exatamente onde e por que os agentes erram. Segundo informou a Hugging Face, os erros mais comuns acontecem na etapa de "raciocínio" — ou seja, o modelo entende o que precisa fazer, mas não consegue planejar os passos corretos. Em segundo lugar vêm falhas na "percepção", quando o agente simplesmente não identifica informações relevantes na tela ou nos documentos que recebe.
O IT-Bench é diferente de outros testes porque usa ambientes corporativos de verdade: sistemas de monitoramento como Grafana (plataforma para visualizar dados de servidores), banco de dados PostgreSQL, containers Docker (tecnologia que isola aplicações em "pacotes" independentes) e até simulações de problemas reais, como um servidor caindo ou um banco de dados corrompido. Não são perguntas teóricas — os agentes precisam navegar em interfaces reais, interpretar logs (registros de eventos do sistema) e executar comandos para resolver o problema.
A IBM já está usando os resultados internamente para melhorar seus próprios agentes corporativos, e os pesquisadores abriram tanto o benchmark quanto a ferramenta de análise para que outras empresas possam diagnosticar onde seus sistemas estão falhando. O objetivo não é só medir desempenho, mas entender onde investir para que agentes de IA realmente funcionem em ambientes complexos — um passo essencial antes que essa tecnologia se torne confiável para operar infraestrutura crítica de empresas.
