ServiceNow lança guardrail de código aberto para bloquear ataques a modelos de linguagem
AprielGuard identifica tentativas de manipulação em chatbots e agentes de IA, combinando análise de texto com detecção de padrões suspeitos.
A ServiceNow (empresa de software corporativo que vende plataformas de automação) divulgou o AprielGuard, um sistema de código aberto projetado para detectar quando alguém tenta manipular ou atacar um modelo de linguagem (LLM, os sistemas de IA que entendem e geram texto, como o ChatGPT). O guardrail — termo usado para designar ferramentas que impedem comportamentos indesejados em IA — identifica prompts maliciosos (comandos feitos pelo usuário para enganar o modelo) e bloqueá-los antes que cheguem ao sistema principal. A ferramenta está disponível no Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) e pode ser integrada a chatbots, agentes de atendimento automático e outros produtos que usam LLMs.
O AprielGuard funciona em duas etapas. Primeiro, um modelo menor e rápido, chamado de classificador, analisa cada mensagem recebida em busca de sinais de que se trata de um ataque — por exemplo, tentativas de jailbreak (técnicas para fazer o modelo ignorar suas próprias regras de segurança) ou injeção de prompt (quando o usuário tenta inserir comandos ocultos no texto). Se o classificador considerar a mensagem suspeita, uma segunda camada entra em ação: um modelo maior e mais sofisticado, baseado no Llama 3.1 (uma família de LLMs de pesos abertos, ou seja, com código e parâmetros públicos, desenvolvida pela Meta), faz uma análise mais detalhada para confirmar se há risco real antes de bloquear ou permitir a requisição.
Segundo a ServiceNow, o sistema foi testado em datasets públicos (conjuntos de dados usados para treinar e avaliar modelos de IA) que reúnem exemplos de ataques conhecidos, e superou outras ferramentas similares em precisão — ou seja, acerta mais vezes ao identificar tentativas de manipulação sem bloquear mensagens legítimas por engano. A empresa destaca que o AprielGuard foi desenhado para rodar em produção (ambientes reais, com usuários de verdade), onde latência (o tempo de resposta do sistema) e custo de processamento são críticos: o classificador inicial é leve o suficiente para não atrasar as respostas do chatbot, e o modelo maior só é acionado quando necessário.
A divulgação do AprielGuard acontece em um momento em que empresas que usam LLMs em produtos voltados ao público enfrentam pressão crescente para evitar que seus sistemas sejam explorados. Ataques bem-sucedidos podem fazer com que um chatbot corporativo vaze informações confidenciais, gere conteúdo ofensivo ou execute ações não autorizadas — riscos especialmente sérios em setores regulados como saúde e finanças. Guardrails de código aberto como este permitem que desenvolvedores adicionem camadas de proteção sem depender de soluções proprietárias, embora sua eficácia dependa de atualizações constantes conforme novas técnicas de ataque aparecem.
