Por qué los agentes de IA fallan en las empresas: IBM y Berkeley crean un test para diagnosticar sus puntos débiles

Investigadores de IBM y la Universidad de California en Berkeley han presentado IT-Bench, un conjunto de pruebas diseñado específicamente para medir cómo se desempeñan los agentes de IA (sistemas que pueden ejecutar tareas de forma autónoma, sin supervisión constante) en entornos empresariales reales. Según informó Hugging Face, el test evalúa 68 tareas comunes en herramientas como Salesforce (una plataforma de gestión de clientes), Jira (un software de seguimiento de proyectos) o ServiceNow (un sistema de gestión de incidencias), y los resultados no son alentadores: incluso los mejores modelos de lenguaje fallan en más de la mitad de las pruebas.

El problema, según los investigadores, no es que estos LLMs (Large Language Models o modelos de lenguaje grandes, sistemas entrenados con enormes cantidades de texto para entender y generar lenguaje) no sean capaces de razonar, sino que no saben cuándo necesitan más información. Para entenderlo mejor, el equipo desarrolló MAST (Minimum Ability Score for Tools, una métrica que mide las habilidades mínimas que un agente necesita para completar una tarea), que descompone cada tarea en pasos y asigna una puntuación sobre 100. Lo que descubrieron es revelador: los agentes no fallan por falta de inteligencia, sino porque intentan actuar sin tener todos los datos necesarios, como un empleado que trata de cerrar un pedido sin conocer el precio del producto.

Los resultados muestran una brecha importante entre modelos. GPT-4o (la versión más avanzada del modelo de OpenAI, la empresa detrás de ChatGPT) obtuvo 46 puntos sobre 100 en IT-Bench, mientras que Claude 3.5 Sonnet (un modelo desarrollado por Anthropic, una startup fundada por exmiembros de OpenAI) alcanzó 43 puntos. Modelos de código abierto como Llama 3.1 (creado por Meta, la empresa matriz de Facebook) quedaron por debajo de los 30 puntos. Ninguno superó el 50%, un umbral que los investigadores consideran mínimo para desplegar estos sistemas en producción sin riesgos.

Lo más interesante del estudio es que identifica exactamente dónde fallan estos agentes. Usando MAST, el equipo descubrió que los errores más comunes no son de razonamiento lógico, sino de lo que llaman "conocimiento de herramientas": no saber qué información necesitan solicitar antes de actuar, no entender las dependencias entre acciones (por ejemplo, que para asignar un ticket primero hay que saber quién está disponible) o no reconocer cuándo les falta contexto para tomar una decisión. Este diagnóstico es crucial porque sugiere que mejorar estos sistemas no requiere solo modelos más grandes o más entrenamiento general, sino datos específicos sobre cómo funcionan las aplicaciones empresariales.

IBM y Berkeley han liberado todo el código y los datos de IT-Bench en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), con la esperanza de que otras empresas y laboratorios usen estas herramientas para mejorar sus propios agentes. El mensaje es claro: antes de automatizar procesos críticos en una empresa, hay que asegurarse de que el agente entiende no solo el lenguaje, sino también las reglas del juego en cada herramienta concreta. Sin ese conocimiento específico, un agente brillante puede ser tan inútil como un consultor que no conoce tu sector.