Cómo medir si una IA realmente sabe usar herramientas del mundo real

Evaluar si un modelo de inteligencia artificial puede usar herramientas del mundo real (abrir archivos, controlar navegadores, ejecutar código) es más complicado de lo que parece. Hasta ahora, la mayoría de pruebas se hacían en entornos simulados donde todo estaba preparado de antemano. Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaba de lanzar OpenEnv, un framework (conjunto de herramientas) que permite probar estos agentes de IA —programas autónomos que toman decisiones y ejecutan tareas— directamente en máquinas reales, con todos los imprevistos que eso implica.

La idea detrás de OpenEnv es sencilla: en lugar de crear un entorno artificial donde el agente siempre encuentra los archivos en el mismo sitio o las páginas web responden igual, se le pone a trabajar en un ordenador normal. Puede ser una Raspberry Pi (un ordenador del tamaño de una tarjeta de crédito), un contenedor Docker (una especie de caja virtual que aísla programas) o incluso hardware especializado como el Jetson Nano (un ordenador pequeño y barato pensado para ejecutar modelos de IA sin depender de internet). El sistema registra cada acción que toma el modelo —qué comandos ejecuta, qué archivos abre, qué URLs visita— y luego comprueba si cumplió el objetivo.

Según informó Hugging Face en su blog oficial, OpenEnv ya se ha usado para evaluar modelos como Qwen2.5-Coder (un LLM o modelo de lenguaje grande especializado en programación) y Claude 3.5 Sonnet (el modelo de lenguaje de Anthropic). Los resultados muestran que muchos modelos que parecen brillantes en tests tradicionales fallan cuando se enfrentan a un sistema operativo real: no encuentran rutas de archivos, no manejan bien errores inesperados o se quedan atascados en bucles infinitos.

El proyecto es de código abierto y está diseñado para que cualquiera pueda añadir nuevas tareas de evaluación. Los investigadores pueden definir un objetivo (por ejemplo, "descarga esta página web y extrae todos los enlaces"), ejecutar el agente en un entorno limpio y verificar automáticamente si lo logró. También permite controlar el presupuesto de tokens (el número máximo de palabras o fragmentos de texto que el modelo puede procesar en una sola tarea), algo crítico cuando se usan modelos grandes que cuestan dinero por cada consulta.

OpenEnv no es solo útil para benchmarks (conjuntos de pruebas estandarizadas que sirven para comparar modelos). También ayuda a detectar problemas de seguridad: si un agente puede ejecutar comandos en un sistema real, necesitas saber exactamente qué hace antes de dejarlo suelto. El framework incluye mecanismos de sandboxing (aislamiento del entorno para evitar que un programa acceda a zonas críticas del sistema) y logging detallado, dos elementos clave para auditar el comportamiento de estos sistemas antes de usarlos en producción.

La herramienta ya está disponible en GitHub y Hugging Face planea integrarla con su plataforma de evaluación automática. Para desarrolladores que trabajan con agentes autónomos —desde asistentes que automatizan tareas de oficina hasta robots que navegan por páginas web—, es una forma de saber si su modelo realmente funciona fuera del laboratorio o solo aprueba exámenes preparados.