ServiceNow cria ferramenta para avaliar assistentes de voz com IA
Framework EVA testa agentes de voz em cenários reais, medindo se conseguem concluir tarefas complexas do início ao fim
A ServiceNow (empresa de software corporativo) lançou o EVA, um framework (conjunto de ferramentas padronizadas) para avaliar agentes de voz com inteligência artificial. Segundo informou a Hugging Face (plataforma onde desenvolvedores compartilham modelos de IA), a novidade preenche uma lacuna importante: até agora, não havia um jeito consistente de medir se assistentes de voz realmente conseguem resolver tarefas do mundo real — como agendar uma consulta médica ou fazer uma reserva em restaurante — sem intervenção humana.
O EVA funciona de forma diferente dos testes tradicionais de IA. Em vez de apenas verificar se o agente entendeu frases isoladas ou respondeu perguntas simples, ele avalia toda a jornada: o assistente precisa ligar para um número real, conversar com uma pessoa (ou outro sistema automatizado), entender o contexto, negociar horários e concluir a tarefa. A ferramenta registra e analisa essas conversas completas, verificando se o objetivo foi atingido e como o agente se comportou durante o processo.
O framework já está disponível publicamente e inclui datasets (conjuntos de dados de exemplo) com cenários como agendamento de consultas, reservas em restaurantes e suporte técnico. Cada cenário tem critérios claros de sucesso — por exemplo, o agente só passa no teste se conseguir marcar um horário específico que foi solicitado, não qualquer horário disponível. Essa abordagem torna a avaliação mais realista do que benchmarks (testes padronizados) que medem apenas compreensão de texto ou velocidade de resposta.
A ServiceNow desenvolveu o EVA internamente para testar seus próprios agentes de voz corporativos, mas decidiu torná-lo aberto para que outras empresas e pesquisadores possam usar. A companhia argumenta que a indústria precisa de padrões comuns para comparar diferentes sistemas de voz — hoje, cada empresa usa métricas próprias, o que torna impossível saber qual agente realmente funciona melhor em situações práticas. Com o EVA público, qualquer desenvolvedor pode testar seu assistente de voz usando os mesmos critérios que grandes corporações aplicam.
