Un agente de atención al cliente con memoria aprendida supera a modelos de última generación sin actualizarse
Un sistema desarrollado por IBM Research usa GPT-4.1, un modelo relativamente antiguo, y una lista de reglas que aprende de sus propios errores para resolver casos de atención al cliente mejor que sistemas basados en los últimos modelos de OpenAI.
IBM Research desarrolló ALTK-Evolve, un método que permite a un agente basado en GPT-4.1 (un modelo de lenguaje de 2023) aprender reglas de comportamiento analizando sus propios intentos de resolver casos de atención al cliente. Esas directrices, añadidas al prompt del sistema sin modificar el modelo, llevaron al agente al primer puesto en tareas de retail del benchmark de atención al cliente de Sierra, superando sistemas con modelos más recientes.
Un agente de atención al cliente construido sobre GPT-4.1 (un modelo de lenguaje de OpenAI lanzado en 2023, anterior a los modelos de razonamiento como o1) ha alcanzado el primer puesto en tareas de retail del benchmark τ²-bench (una prueba diseñada por la empresa Sierra para medir qué tan bien un agente de IA maneja conversaciones reales de servicio al cliente), superando sistemas basados en modelos mucho más recientes. La clave no está en el modelo base, sino en ALTK-Evolve, un método desarrollado por IBM Research que permite al agente aprender y aplicar un manual de buenas prácticas sin modificar los pesos del modelo (los parámetros internos que definen cómo funciona una red neuronal).
El sistema funciona de la siguiente manera: el agente intenta resolver casos de entrenamiento usando el marco ReAct (una técnica que estructura las respuestas de un agente en ciclos de pensar y actuar), analiza sus propios aciertos y fracasos, y destila esos aprendizajes en reglas de comportamiento breves y concretas. Por ejemplo, "autentica al usuario antes de tomar cualquier acción relacionada con un pedido" o "confirma todos los cambios con un resumen claro antes de ejecutar una acción irreversible". Esas directrices se añaden luego al prompt del sistema (las instrucciones iniciales que se le dan al modelo) para conversaciones posteriores. Todo el proceso usa el mismo modelo GPT-4.1, tanto para generar las reglas como para atender a los clientes, sin necesidad de anotaciones humanas.
En las pruebas sobre el conjunto de datos de retail de τ²-bench, el agente con el manual completo de directrices aprendidas alcanzó un 67,5% en la métrica Pass^4 (el porcentaje de tareas resueltas correctamente en los cuatro intentos independientes), frente al 57,5% del agente base sin directrices. Esta métrica es especialmente exigente porque mide la fiabilidad: un agente que resuelve un reembolso tres de cada cuatro veces sigue fallando con el 25% de clientes reales. El sistema también mejoró en el dominio de aerolíneas, aunque allí un conjunto más reducido de reglas (solo las que aparecieron en al menos tres casos de entrenamiento) resultó más fiable que el manual completo, lo que sugiere que la cantidad óptima de orientación varía según el sector.
Las directrices tienen un coste: aumentan el número de tokens de entrada (las unidades de texto que procesa el modelo) en cada conversación, elevando el precio por interacción entre un 12% y un 65% según la configuración. Sin embargo, ese coste adicional no se traduce en conversaciones más largas o redundantes, sino que se concentra en el prompt inicial más extenso. Según IBM Research, el enfoque demuestra que un modelo estándar con memoria aprendida puede superar a sistemas más complejos en tareas donde seguir políticas empresariales y ejecutar acciones precisas es tan importante como generar texto fluido, algo especialmente relevante para empresas que quieren desplegar agentes de atención al cliente sin depender de los modelos propietarios más caros del mercado.
