Cuatro millones de modelos de IA escaneados en busca de vulnerabilidades
Hugging Face y Protect AI han analizado todos los modelos publicados en la plataforma durante seis meses para detectar malware y código malicioso oculto en archivos de inteligencia artificial.
Hugging Face y Protect AI escanearon cuatro millones de modelos de IA subidos a la plataforma en seis meses, buscando malware y código malicioso oculto en archivos de modelos que podrían ejecutar scripts peligrosos al descargarse, bloqueando cientos de modelos sospechosos.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) y Protect AI (una empresa especializada en seguridad para sistemas de inteligencia artificial) han escaneado más de cuatro millones de modelos de IA en los últimos seis meses. El objetivo: detectar malware, código malicioso y vulnerabilidades de seguridad escondidas en los archivos que almacenan los parámetros de estos modelos.
Según informó Hugging Face en su blog oficial, la colaboración arrancó hace medio año con el fin de proteger a los miles de desarrolladores y empresas que descargan modelos de la plataforma cada día. Los modelos de IA se distribuyen en formatos de archivo como Pickle o PyTorch (archivos que guardan los pesos del modelo, es decir, los números que determinan cómo funciona la red neuronal), y estos formatos pueden ejecutar código arbitrario al cargarse, lo que los convierte en una vía de entrada para ataques.
El escaneo automático analiza cada modelo subido a la plataforma en busca de patrones sospechosos: scripts que intentan conectarse a servidores externos, funciones que descargan archivos adicionales sin avisar, o código ofuscado (deliberadamente complicado para ocultar su verdadero propósito). Cuando se detecta algo sospechoso, el modelo se marca y el equipo de seguridad de Hugging Face lo revisa manualmente antes de retirarlo si confirma la amenaza.
Los responsables del proyecto aseguran que han bloqueado cientos de modelos maliciosos, aunque no han hecho público el número exacto ni los tipos de ataque más comunes. La iniciativa responde a un problema creciente: a medida que más gente usa modelos de IA de terceros en lugar de entrenar los suyos desde cero, aumenta el riesgo de descargar sin querer un modelo que robe datos, instale backdoors (puertas traseras que permiten acceso remoto no autorizado) o comprometa sistemas internos de una empresa.
Hugging Face planea ampliar el sistema para incluir análisis de dependencias (las bibliotecas de código que cada modelo necesita para funcionar) y mejorar la detección de modelos que se hacen pasar por versiones oficiales de proyectos conocidos. La compañía también trabaja en herramientas que permitan a los usuarios verificar por sí mismos la integridad de un modelo antes de ejecutarlo en sus propios equipos.
