Hugging Face lança padrão para medir busca em modelos de IA

A Hugging Face (plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) anunciou o RTEB, um novo padrão para avaliar sistemas de recuperação de informação. Esses sistemas são a base de tecnologias como chatbots que citam fontes, buscadores semânticos e assistentes de IA que respondem perguntas com base em documentos — diferente de modelos que apenas geram texto, eles precisam encontrar e apontar de onde vem cada informação.

O problema que o RTEB resolve é simples: até agora, não havia uma forma única de comparar esses sistemas. Cada empresa ou pesquisador usava seus próprios conjuntos de dados e métricas, o que tornava impossível saber qual modelo de recuperação funcionava melhor. O RTEB reúne 112 tarefas de avaliação em 113 idiomas, criando pela primeira vez um ranking comparável — semelhante ao que já existe para medir a qualidade de modelos de linguagem (os chamados LLMs, ou modelos grandes de linguagem).

Na prática, o benchmark (conjunto de testes padronizados) avalia três tipos de tarefas: busca em documentos longos, classificação de pares de perguntas e respostas, e agrupamento de textos semelhantes. Segundo a Hugging Face, o objetivo é permitir que qualquer pessoa escolha o melhor modelo de recuperação para seu caso de uso — seja responder perguntas técnicas, buscar em arquivos legais ou organizar conteúdo de redes sociais.

O RTEB está disponível gratuitamente e qualquer desenvolvedor pode usá-lo para testar seus próprios modelos ou comparar opções antes de escolher uma para seu projeto. A iniciativa faz parte de um movimento maior na comunidade de IA: criar padrões abertos que tornem mais fácil medir o desempenho real de tecnologias que, até pouco tempo atrás, eram avaliadas apenas de forma informal ou por empresas isoladas.