EVA: cómo medir si un asistente de voz con IA realmente funciona
ServiceNow presenta un sistema de evaluación para agentes de voz con inteligencia artificial que va más allá de medir aciertos y errores.
Los asistentes de voz con inteligencia artificial —esos sistemas que permiten hablar con un chatbot como si fuera una persona— están proliferando en servicios de atención al cliente, aplicaciones de salud y asistentes virtuales. Pero medir si funcionan bien es más complejo que comprobar si entendieron una pregunta: hay que valorar si suenan naturales, si manejan interrupciones, si detectan frustraciones o si tardan demasiado en responder. Hasta ahora no existía una forma sistemática de hacer esa evaluación.
Según informó Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), investigadores de ServiceNow han publicado EVA, un framework (un conjunto de herramientas y criterios estandarizados) diseñado específicamente para evaluar agentes de voz conversacionales. El sistema mide diez dimensiones: precisión en las respuestas, naturalidad del tono, capacidad de recuperarse de errores, manejo de interrupciones y silencios, latencia (tiempo que tarda en responder), coherencia en conversaciones largas, detección de emociones del usuario, y cumplimiento de tareas complejas que requieren varios pasos.
La propuesta incluye tres datasets (conjuntos de datos de prueba) con miles de conversaciones sintéticas que cubren escenarios reales: preguntas ambiguas, usuarios frustrados, contextos con ruido de fondo, cambios de tema abruptos. Los modelos se evalúan tanto con métricas automáticas —como WER (tasa de errores en la transcripción de palabras)— como con valoraciones humanas que juzgan si la conversación se sintió fluida o robótica. ServiceNow publicó también un benchmark (tabla comparativa) con el rendimiento de varios modelos populares de voz sobre estos criterios.
El marco es de código abierto y está disponible en Hugging Face, lo que permitirá a equipos de desarrollo comparar distintos modelos o versiones de un mismo agente antes de ponerlo en producción. Según los autores, la intención es establecer un estándar común para que la industria no mida la calidad de estos sistemas solo por si entienden bien las palabras, sino por si ofrecen una experiencia conversacional útil y humana. La evaluación incluye también aspectos de seguridad, como detectar si el agente revela información sensible o sigue instrucciones inapropiadas del usuario.
