Por que assistentes de IA ainda erram tanto: novo teste revela os limites dos agentes autônomos
Benchmark criado pela IBM mostra que mesmo os melhores modelos de linguagem falham em tarefas simples quando precisam usar ferramentas ou raciocinar em várias etapas.
Assistentes de IA que conseguem usar ferramentas — como pesquisar na web, fazer contas ou consultar bases de dados — prometem automatizar tarefas complexas, mas um novo estudo da IBM Research mostra que eles ainda falham com frequência, mesmo em situações que parecem triviais. O VAKRA, um benchmark (conjunto de testes padronizados) criado para avaliar esses "agentes" (sistemas de IA que tomam decisões e executam ações de forma autônoma), revelou que modelos como o GPT-4o e o Claude 3.5 Sonnet (dois dos LLMs, ou modelos de linguagem de grande escala, mais avançados disponíveis) acertam menos de 60% das tarefas propostas.
Segundo informou a equipe da IBM em artigo publicado no Hugging Face (uma plataforma onde desenvolvedores compartilham e testam modelos de IA), o problema não está apenas em seguir instruções: os agentes erram ao escolher qual ferramenta usar, interpretam mal os resultados que recebem e perdem o fio da meada quando precisam encadear várias ações. Por exemplo, se o agente precisa primeiro buscar um dado, depois calculá-lo e finalmente formatá-lo, ele frequentemente esquece uma etapa ou mistura informações de consultas anteriores.
O VAKRA foi desenhado para isolar esses erros. Diferente de benchmarks que testam conhecimento geral ou habilidade com código, ele foca especificamente em raciocínio prático: o modelo recebe uma pergunta e precisa decidir se vai responder direto, usar uma calculadora, pesquisar na Wikipedia ou consultar uma API (interface que permite ao programa acessar dados externos). A taxa de acerto varia conforme a tarefa: perguntas simples de conhecimento são respondidas corretamente em 80% dos casos, mas quando a resposta exige combinar busca e cálculo, a taxa cai para cerca de 40%.
A análise também identificou padrões de falha recorrentes. Alguns modelos "alucinam" ferramentas — inventam funções que não existem ou chamam a ferramenta errada repetidamente, mesmo depois de receber mensagens de erro. Outros param de tentar resolver o problema no meio do caminho, devolvendo uma resposta vazia ou genérica. E há casos em que o modelo até chama a ferramenta certa, mas interpreta o resultado de forma errada, como confundir uma data ou somar números que não deveriam ser somados.
Para quem desenvolve agentes de IA, o VAKRA oferece um diagnóstico detalhado: além de medir se a resposta final está certa, o benchmark registra cada passo que o modelo deu, permitindo identificar exatamente onde ele se perdeu. A IBM disponibilizou o dataset e o código publicamente, e a expectativa é que ele ajude a melhorar a confiabilidade desses sistemas — algo essencial se agentes autônomos forem usados em aplicações críticas, como atendimento ao cliente ou análise de dados corporativos.
