#benchmarks

Pesquisadores da IBM descobriram que agentes de inteligência artificial podem ter desempenho variável na mesma tarefa e criaram uma ferramenta que reduz pela metade essa instabilidade sem perder precisão

UK AISI passa a publicar resultados de avaliações de modelos de linguagem usando a plataforma EvalEval, que padroniza como esses testes são documentados e compartilhados.

O BenchMIRT mapeia quais habilidades cognitivas estão por trás de cada pergunta dos benchmarks mais usados para avaliar modelos de linguagem, revelando que muitos testes medem as mesmas capacidades repetidas vezes.

Ferramenta da Hugging Face mede se LLMs realmente entendem documentos extensos ou apenas fingem entender, revelando que até os melhores modelos falham em tarefas complexas com muito contexto.

Novo benchmark usa dados reais e complexos para avaliar se modelos de inteligência artificial conseguem resolver problemas científicos de verdade, não só responder perguntas teóricas.

O LifeSciBench é um novo conjunto de provas criado por cientistas para medir se modelos de inteligência artificial conseguem resolver tarefas reais de laboratório, e não apenas responder perguntas decoradas.

A empresa usa criptografia para impedir que tanto os avaliadores quanto o próprio Google vejam informações sensíveis durante os testes de segurança de seus modelos de IA

Plataforma criou três novos testes públicos para avaliar como modelos de linguagem entendem e geram texto em árabe, idioma falado por mais de 400 milhões de pessoas

Novos conjuntos de dados e métodos abertos prometem democratizar a pesquisa sobre assistentes autônomos que tomam decisões sozinhos.

Levantamento da Hugging Face mostra que a distância entre modelos de código aberto e sistemas fechados como o GPT-4 diminuiu drasticamente em 2026.

Plataforma open source quer resolver o caos de benchmarks incompatíveis e criar um ecossistema comum para avaliar agentes autônomos.

A fabricante de chips disponibilizou o Nemotron 3 Nano junto com um guia aberto para avaliar desempenho de modelos de linguagem, em parceria com a Hugging Face.

Plataforma adiciona dados privados ao Open ASR Leaderboard para impedir que desenvolvedores treinem modelos especificamente para subir no ranking sem melhorar de verdade.

Hugging Face lança método para avaliar quais modelos de linguagem abertos funcionam melhor como agentes autônomos em tarefas práticas.

A plataforma integrou dados do projeto Every Eval Ever para mostrar como cada modelo se sai em testes criados pela comunidade, não apenas pelas empresas que os desenvolvem.

Novo leaderboard testa modelos de ASR em cenários do dia a dia, com sotaques, ruído de fundo e áudio de baixa qualidade — e mostra que os melhores em laboratório nem sempre lideram fora dele.

Plataforma lança novo ranking que testa se os modelos realmente entendem matemática ou apenas repetem padrões memorizados dos testes.