Hugging Face e Protect AI já varreram 4 milhões de modelos de IA em busca de falhas de segurança
Parceria entre as duas empresas completou seis meses e encontrou vulnerabilidades em modelos compartilhados abertamente na plataforma, alertando criadores e usuários sobre riscos reais
A Hugging Face (plataforma de compartilhamento de modelos de IA) e a Protect AI (empresa de segurança de IA) analisaram mais de 4 milhões de modelos em seis meses de parceria, identificando vulnerabilidades de segurança e alertando criadores sobre riscos como execução de código malicioso em formatos antigos de armazenamento.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) e a Protect AI (empresa especializada em segurança de inteligência artificial) anunciaram que já analisaram mais de 4 milhões de modelos de IA nos seis primeiros meses de parceria. O objetivo é identificar vulnerabilidades de segurança em modelos de pesos abertos (modelos cujos parâmetros internos estão disponíveis para download e modificação por qualquer pessoa) antes que sejam exploradas por atacantes.
Durante esse período, as empresas detectaram e notificaram criadores de modelos sobre diferentes tipos de falhas — desde configurações inseguras que permitem execução de código malicioso até problemas no formato de armazenamento dos arquivos. Segundo informou a Hugging Face, a maioria dos alertas foi tratada rapidamente pelos responsáveis, mas a varredura revelou que riscos de segurança em IA ainda são subestimados pela comunidade.
A parceria funciona com ferramentas automatizadas que escaneiam modelos assim que são enviados para a plataforma. Quando uma vulnerabilidade conhecida é encontrada, o criador do modelo recebe um aviso privado explicando o problema e como corrigi-lo. A iniciativa não bloqueia modelos automaticamente, mas marca publicamente aqueles com riscos confirmados caso o desenvolvedor não responda.
O trabalho se concentra especialmente em dois formatos populares de armazenamento de modelos: Pickle (um formato antigo do Python conhecido por permitir execução arbitrária de código ao carregar arquivos) e SafeTensors (um formato mais recente e mais seguro desenvolvido pela própria Hugging Face). A análise mostrou que muitos modelos ainda usam Pickle sem necessidade, expondo usuários a riscos desnecessários ao baixar e rodar esses arquivos localmente.
Com a popularização de LLMs (sigla em inglês para large language models, ou modelos de linguagem grandes, redes neurais treinadas com bilhões de parâmetros para entender e gerar texto) e outros modelos de IA disponíveis para qualquer pessoa baixar e executar, a segurança desses arquivos virou uma preocupação crescente. A Hugging Face hospeda modelos usados por milhões de desenvolvedores e empresas ao redor do mundo, e uma vulnerabilidade explorada em um modelo popular pode afetar inúmeros projetos downstream (sistemas que dependem daquele modelo como base).
As empresas prometem expandir a varredura para incluir novos tipos de ameaças e integrar alertas mais detalhados na interface da plataforma. A meta é tornar a verificação de segurança parte invisível e automática do fluxo de trabalho de quem desenvolve e compartilha modelos de IA de código aberto.
