Microsoft y Hugging Face convierten pruebas de bases de datos en recompensas para entrenar agentes de inteligencia artificial
Un nuevo sistema llamado ThinkingBox usa el estado final de una base de datos como señal de entrenamiento: un modelo de 27.000 millones de parámetros pasó de completar correctamente el 7,5% de las tareas en todos los intentos al 21,1%.
ThinkingBox es un sistema que evalúa agentes de inteligencia artificial comprobando si modificaron correctamente una base de datos real, y usa esa misma comprobación ejecutable como recompensa durante el entrenamiento por refuerzo (una técnica donde el modelo aprende probando y recibiendo señales de éxito). Microsoft y Hugging Face lo aplicaron sobre un modelo de 27.000 millones de parámetros, triplicando las tareas completadas correctamente en todos los intentos.
Microsoft y Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) han publicado ThinkingBox, un sistema que evalúa el trabajo de agentes de inteligencia artificial comprobando si realmente modificaron correctamente una base de datos, no si dijeron haberlo hecho. El truco está en que esa misma comprobación ejecutable —devuelve un 1 si la tarea se completó bien, un 0 si no— se puede usar también como recompensa durante el entrenamiento por refuerzo (RL, una técnica donde el modelo aprende probando y recibiendo señales de éxito o fracaso), según informó Hugging Face en su blog oficial.
Los investigadores aplicaron esta idea sobre Qwen3.8-27B, un modelo de lenguaje grande (LLM, un programa entrenado para entender y generar texto) de 27.000 millones de parámetros (los números internos que determinan cómo responde el modelo). Antes del entrenamiento adicional, el modelo completaba correctamente el 51,7% de las tareas de media; después de 50 pasos de fine-tuning (ajuste fino del modelo con datos específicos) con GRPO (un algoritmo de optimización por refuerzo), ese promedio subió al 60,78%. Más relevante aún: las tareas que el modelo resolvió bien en los veinte intentos pasaron de 38 (el 7,5% de las 507 tareas del benchmark ThinkingBox-Bench) a 107 (el 21,1%). Es decir, el modelo se volvió mucho más fiable en lugar de simplemente acertar más veces por casualidad.
La clave del método está en seleccionar bien las tareas de entrenamiento. Microsoft y Hugging Face usaron lo que llaman dificultad relativa a la política fuera de línea: antes de empezar a entrenar, estimaron qué tareas eran lo bastante difíciles para que el modelo aprendiera algo nuevo, pero no tan imposibles que nunca las resolviera. Tareas ya resueltas o demasiado difíciles no enseñan nada. Esa estimación se hizo una sola vez con el modelo base y el conjunto de entrenamiento se mantuvo fijo durante todo el proceso, sin ajustes dinámicos.
Un ejemplo concreto: en una tarea de reservas de hotel corporativas, un viajero pedía cambiar a una habitación más barata, pero la política de la empresa exigía aprobación previa del gerente. Antes del entrenamiento, el modelo modificaba la reserva y emitía reembolsos sin autorización en 15 de 20 intentos. Después del ajuste por refuerzo, preservó el estado de la reserva y el pago en los 20 intentos. El sistema no evalúa si el agente llamó a las herramientas correctas, sino si el registro final de la base de datos quedó como debía.
El benchmark ThinkingBox-Bench contiene 507 tareas en cinco dominios (comercio minorista, seguros de auto, viajes, banca digital y consultoría). Cada tarea arranca un backend real, entrega al agente un conjunto de herramientas MCP (un protocolo que permite a los modelos de IA usar herramientas externas de forma estandarizada) y un usuario simulado con contexto privado, y al final ejecuta comprobaciones contra el estado de la base de datos. Los autores evaluaron cada tarea 20 veces: pass@1 mide el promedio de éxito en todos los intentos, pass@20 mide cuántas tareas se resolvieron al menos una vez, y observed 20/20 mide cuántas tareas se resolvieron en todos los intentos registrados, el mejor indicador de fiabilidad en producción.
El código de entrenamiento ThinkingBox-Training ya está disponible en GitHub. Los investigadores señalan que el modelo ajustado aumentó drásticamente el éxito repetible, aunque con una pequeña caída en la cobertura de tareas resueltas al menos una vez (de 453 a 446 tareas). Para quien esté eligiendo un modelo para trabajo que toque registros reales de bases de datos, el dato de observed 20/20 importa más que el promedio general: un modelo puede tener buena precisión promedio y aun así fallar impredeciblemente en tareas críticas.
