Por qué los agentes de IA fallan: un análisis revela sus límites al razonar y usar herramientas
IBM Research publica un estudio detallado sobre cómo y por qué los agentes de IA cometen errores al intentar resolver tareas complejas con herramientas externas.
Los agentes de IA —sistemas que no solo responden preguntas, sino que planifican pasos, usan herramientas externas como calculadoras o buscadores y ajustan su estrategia sobre la marcha— prometen automatizar tareas complejas. Pero en la práctica fallan con frecuencia, y hasta ahora no estaba claro exactamente dónde ni por qué. IBM Research acaba de publicar un análisis exhaustivo de VAKRA, un benchmark (conjunto de pruebas estandarizadas para medir el rendimiento de modelos de IA) diseñado específicamente para identificar los puntos débiles de estos sistemas, según informó la compañía en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados).
El estudio evaluó modelos populares como GPT-4o, Claude 3.5 Sonnet y Llama 3.3 70B en tareas que requieren razonamiento en varios pasos y el uso coordinado de herramientas. Los resultados muestran que ningún modelo supera el 70% de acierto en las pruebas más exigentes, y que los fallos se concentran en tres áreas: errores de razonamiento lógico (el modelo salta pasos o llega a conclusiones incorrectas), problemas al interpretar resultados de herramientas (por ejemplo, malinterpretar datos de una API, una interfaz que permite a programas comunicarse entre sí), y planificación deficiente (elegir herramientas inadecuadas o usarlas en el orden equivocado).
Lo más revelador del análisis es que los modelos más grandes no siempre superan a los medianos. GPT-4o y Claude 3.5 destacan en razonamiento abstracto, pero cometen más errores al integrar información de múltiples herramientas que Llama 3.3, un modelo open source (de pesos abiertos, es decir, que cualquiera puede descargar, modificar y ejecutar sin depender de una empresa) con menos parámetros (los valores numéricos que definen el comportamiento de un modelo de IA). Esto sugiere que el problema no es solo de escala, sino de cómo se entrena a los modelos para manejar flujos de trabajo reales.
IBM Research también identificó patrones específicos de fallo. Los agentes tienden a "alucinar" (inventar información que no existe) cuando una herramienta devuelve un resultado ambiguo, y a menudo repiten la misma acción fallida varias veces en lugar de cambiar de estrategia. Además, tienen dificultades para gestionar dependencias entre tareas: si el paso 2 depende del resultado del paso 1, muchos modelos intentan ejecutar ambos en paralelo o saltan directamente al segundo sin verificar que el primero tuvo éxito.
El benchmark VAKRA está disponible públicamente en Hugging Face y permite a cualquier equipo de investigación o empresa evaluar sus propios agentes con las mismas métricas. Según IBM, el objetivo es que la comunidad científica use estos datos para desarrollar técnicas de entrenamiento más efectivas, como fine-tuning (ajuste fino de un modelo preentrenado con ejemplos específicos) centrado en razonamiento secuencial o nuevos métodos de prompting (la forma de formular instrucciones a un modelo) que reduzcan errores de interpretación. Mientras tanto, el análisis deja claro que los agentes de IA actuales aún están lejos de ser autónomos de forma confiable en entornos de producción.
