Hugging Face lanza su propia tabla de clasificación de modelos de IA, con evaluaciones abiertas y hechas por la comunidad
La plataforma abandona las leaderboards privadas y apuesta por un sistema donde cualquiera puede ver, replicar y proponer nuevas pruebas para medir qué modelos funcionan mejor.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) ha presentado Community Evals, su propia tabla de clasificación de modelos de lenguaje. La novedad no es tanto que exista otra leaderboard (una lista ordenada que compara el rendimiento de diferentes modelos), sino cómo funciona: todo el proceso de evaluación es público, replicable y abierto a contribuciones de cualquier persona.
Según explica la empresa en su blog oficial, la decisión responde a una frustración creciente con las tablas cerradas que dominan el sector. Muchas leaderboards actuales no publican los datos completos de sus pruebas, no permiten auditar cómo se puntúa cada modelo ni dejan que otros desarrolladores añadan nuevos benchmarks (conjuntos de pruebas estandarizadas para medir capacidades específicas). El resultado, argumentan desde Hugging Face, es un sistema opaco donde resulta difícil saber si un modelo realmente funciona bien o simplemente está optimizado para sacar buena nota en esas pruebas concretas.
Community Evals arranca con más de 500 modelos evaluados en 15 benchmarks diferentes, todos ejecutados con la librería lighteval (una herramienta de código abierto que automatiza las pruebas sobre modelos de IA). Cualquier persona puede ver el código de cada evaluación, descargar los resultados completos y reproducir las pruebas en su propio ordenador. Además, la plataforma acepta pull requests (propuestas de cambio en el código) para añadir nuevos benchmarks o mejorar los existentes, algo inédito en las grandes tablas de clasificación del sector.
La comunidad de desarrolladores ha recibido la iniciativa con entusiasmo, según reportan desde Hugging Face, especialmente entre quienes trabajan con modelos de pesos abiertos (aquellos cuyos parámetros internos se publican libremente y pueden modificarse). La plataforma ha incorporado ya evaluaciones propuestas por usuarios, incluyendo pruebas específicas para idiomas distintos al inglés y tareas técnicas más especializadas.
Con este movimiento, Hugging Face refuerza su posición como alternativa abierta frente a los sistemas cerrados de OpenAI, Anthropic o Google. No es la primera vez que la empresa apuesta por la transparencia: su repositorio de modelos ya permite descargar miles de LLMs (large language models, o modelos de lenguaje de gran tamaño) y herramientas sin restricciones, algo que contrasta con las APIs de pago y acceso limitado que ofrecen otros actores del sector.
