#benchmarks

Novos conjuntos de dados e métodos abertos prometem democratizar a pesquisa sobre assistentes autônomos que tomam decisões sozinhos.

Levantamento da Hugging Face mostra que a distância entre modelos de código aberto e sistemas fechados como o GPT-4 diminuiu drasticamente em 2026.

Plataforma open source quer resolver o caos de benchmarks incompatíveis e criar um ecossistema comum para avaliar agentes autônomos.

A fabricante de chips disponibilizou o Nemotron 3 Nano junto com um guia aberto para avaliar desempenho de modelos de linguagem, em parceria com a Hugging Face.

Plataforma adiciona dados privados ao Open ASR Leaderboard para impedir que desenvolvedores treinem modelos especificamente para subir no ranking sem melhorar de verdade.

Hugging Face lança método para avaliar quais modelos de linguagem abertos funcionam melhor como agentes autônomos em tarefas práticas.

A plataforma integrou dados do projeto Every Eval Ever para mostrar como cada modelo se sai em testes criados pela comunidade, não apenas pelas empresas que os desenvolvem.

Novo leaderboard testa modelos de ASR em cenários do dia a dia, com sotaques, ruído de fundo e áudio de baixa qualidade — e mostra que os melhores em laboratório nem sempre lideram fora dele.

Plataforma lança novo ranking que testa se os modelos realmente entendem matemática ou apenas repetem padrões memorizados dos testes.