Hugging Face lanza un nuevo estándar para medir la calidad de los buscadores de IA
RTEB quiere acabar con las métricas engañosas que usan las empresas al comparar sus sistemas de búsqueda y recuperación de información.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaba de presentar RTEB, un nuevo conjunto de pruebas para medir con más rigor cómo funcionan los sistemas de recuperación de información. Estos sistemas son los que permiten a un chatbot, por ejemplo, buscar datos relevantes en una base de conocimiento antes de responder, o a un buscador encontrar el documento que mejor responde a tu pregunta. Hasta ahora, según explica la compañía, muchas empresas publicaban resultados difíciles de reproducir o comparar porque cada una usaba sus propios criterios de evaluación.
El problema que intenta resolver RTEB es común en el sector: cuando una empresa afirma que su modelo de embeddings (un tipo de IA que convierte texto en representaciones numéricas para compararlas entre sí) supera a la competencia, a menudo lo hace con datos de prueba filtrados o con métricas poco representativas del uso real. Hugging Face propone un marco de evaluación transparente, con tareas diversas y datos públicos, para que cualquiera pueda reproducir las pruebas y verificar las afirmaciones.
RTEB incluye 168 tareas de recuperación en 122 idiomas, desde búsquedas simples hasta escenarios complejos como recuperación multilingüe o búsqueda en código fuente. Las empresas y desarrolladores pueden subir sus modelos a la plataforma y obtener puntuaciones comparables con las de otros sistemas, sin posibilidad de manipular los resultados. La iniciativa forma parte de un esfuerzo más amplio por estandarizar cómo se evalúan los modelos de IA abiertos.
Detrás de RTEB están investigadores de Hugging Face, Cohere (una empresa que ofrece modelos de lenguaje para empresas) y Jina AI (especializada en sistemas de búsqueda neural), junto con colaboradores de varias universidades. El proyecto es de código abierto y está diseñado para evolucionar: cualquiera puede proponer nuevas tareas o idiomas. Según sus creadores, el objetivo no es solo hacer más fácil comparar modelos, sino presionar a la industria para que publique benchmarks (pruebas de rendimiento estandarizadas) más honestos y reproducibles.
