#evaluacion

UK AISI comparte los datos completos de sus pruebas con modelos como GPT-5 y Claude Opus 4, usando un formato estándar que permite reproducir y verificar los experimentos

Un equipo del Allen Institute descubre que los benchmarks actuales evalúan principalmente cuánta información ha memorizado un modelo de lenguaje durante su entrenamiento, no su capacidad real de razonar o resolver problemas nuevos.

Investigadores de Hugging Face y otras instituciones han creado DABStep, una prueba que evalúa si los agentes de IA (programas que pueden usar herramientas y tomar decisiones de forma autónoma) son capaces de completar tareas reales de análisis de datos que requieren varios pasos, no solo responder preguntas sencillas.

Un análisis interno revela problemas en SWE-Bench Pro, una prueba ampliamente usada para evaluar si los modelos de lenguaje pueden resolver bugs reales de código.

La compañía ha probado por primera vez un sistema de evaluación donde ni los desarrolladores ven las preguntas del test ni los examinadores pueden acceder al modelo, usando criptografía para garantizar que nadie haga trampas.

La división de inteligencia artificial de Google ha desarrollado un sistema de evaluación donde ni los examinadores humanos ni los modelos saben cuál está siendo juzgado, buscando resultados más objetivos sobre sus capacidades reales.

La compañía comparte el proceso exacto que usó para medir el rendimiento de Nemotron 3 Nano, su modelo compacto que funciona en dispositivos sin conexión a internet.

Un nuevo conjunto de pruebas revela que los modelos de lenguaje más avanzados apenas entienden el dialecto emiratí, uno de los más hablados en Oriente Medio.

Hugging Face presenta OpenEnv, un sistema para evaluar agentes de inteligencia artificial en entornos reales en lugar de simulaciones controladas.

ServiceNow presenta un sistema de evaluación para agentes de voz con inteligencia artificial que va más allá de medir aciertos y errores.

Una iniciativa del Technology Innovation Institute de Abu Dabi busca evaluar modelos de lenguaje en árabe con criterios más rigurosos que las tablas tradicionales.

La plataforma integra resultados de Every Eval Ever para que cualquiera pueda comparar modelos sin depender solo de las cifras que publican sus creadores.

La plataforma presenta Real World VoiceEQ, una herramienta gratuita que evalúa si los asistentes de voz suenan naturales en conversaciones reales, no solo leyendo frases aisladas.

La plataforma introduce Math-Verify, un sistema que obliga a los modelos a mostrar su razonamiento paso a paso antes de dar una respuesta, haciendo mucho más difícil inflar artificialmente las puntuaciones.