Como testar se um modelo de IA realmente consegue usar suas próprias ferramentas
Hugging Face lança método para avaliar quais modelos de linguagem abertos funcionam melhor como agentes autônomos em tarefas práticas.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) anunciou uma nova forma de medir se modelos de linguagem de código aberto conseguem operar como agentes — ou seja, sistemas que não apenas respondem perguntas, mas também usam ferramentas externas, planejam ações e executam tarefas de forma autônoma. A proposta permite que qualquer desenvolvedor avalie qual modelo funciona melhor com o conjunto específico de ferramentas que ele usa, em vez de confiar apenas em rankings genéricos.
O problema que a equipe quer resolver é prático: modelos como GPT-4 ou Claude são bons em usar APIs (interfaces que permitem que um software converse com outro), mas custam caro e não rodam localmente. Já os modelos abertos — aqueles cujos pesos (os números que definem como o modelo funciona) são públicos — variam muito em desempenho quando precisam chamar funções, interpretar resultados e decidir os próximos passos. Sem um jeito padronizado de comparar, é difícil escolher qual usar.
A solução apresentada no blog oficial da Hugging Face é um sistema de benchmark (teste padronizado) que permite criar cenários personalizados: você define as ferramentas que o modelo pode usar (por exemplo, buscar informações em um banco de dados, enviar e-mails ou controlar dispositivos), fornece exemplos de tarefas e o sistema avalia quantas o modelo consegue completar corretamente. Tudo roda em cima do framework Smolagents (uma biblioteca da própria Hugging Face para criar agentes de IA leves), e os resultados ficam públicos em um leaderboard (ranking) na plataforma.
Segundo a Hugging Face, modelos como Qwen 2.5 (da chinesa Alibaba) e Llama 3 (da Meta) já mostram resultados interessantes em testes iniciais, mas o desempenho varia bastante conforme o tipo de tarefa — alguns são melhores em raciocínio lógico, outros em interpretar comandos ambíguos. A ideia é que, com o tempo, a comunidade de código aberto consiga mapear quais modelos funcionam melhor em cada contexto, acelerando o desenvolvimento de agentes práticos que rodem fora das big techs.
O código e as instruções para rodar os testes estão disponíveis no repositório público da Hugging Face no GitHub. A empresa destacou que o método foi desenhado para ser acessível até para quem não tem GPUs (chips especializados em processar IA) potentes, já que muitos dos modelos testados rodam em hardware comum ou até em navegadores via WebGPU (uma tecnologia que permite usar a placa de vídeo do computador para rodar IA diretamente na web).
