¿Tu asistente de IA sabe guardar secretos? Un nuevo test pone a prueba a los agentes más populares
MosaicLeaks es un benchmark que evalúa si los agentes de investigación revelan información confidencial al buscar datos en internet, y los resultados no son tranquilizadores.
ServiceNow (una empresa especializada en software empresarial) ha publicado MosaicLeaks, un test diseñado para comprobar si los agentes de IA (sistemas capaces de ejecutar tareas complejas de forma autónoma, como buscar información en internet y resumirla) son capaces de proteger datos confidenciales mientras trabajan. Según informó Hugging Face en su blog oficial, ninguno de los agentes evaluados aprobó todas las pruebas, lo que plantea serias dudas sobre su uso en entornos profesionales donde la privacidad es crítica.
El benchmark simula situaciones realistas: imagina que pides a un agente que investigue sobre un competidor, pero le das acceso a documentos internos de tu empresa que contienen información sensible, como estrategias comerciales o datos financieros. MosaicLeaks comprueba si el agente filtra esos datos al hacer búsquedas en Google, enviar consultas a APIs externas (servicios de terceros en internet) o generar informes finales. El test incluye 200 escenarios diferentes, desde fugas obvias hasta casos más sutiles donde la información confidencial se mezcla con datos públicos.
Los resultados muestran que agentes populares como aquellos basados en modelos de OpenAI, Anthropic o Googlefallan en proteger información sensible en un porcentaje significativo de casos. Algunos revelan datos confidenciales directamente en las búsquedas que realizan, otros los incluyen sin darse cuenta en las respuestas que generan. El problema no está solo en los modelos de lenguaje (LLM, los sistemas de IA que generan texto) que usan estos agentes, sino en cómo están programados para interactuar con el mundo exterior: muchos priorizan completar la tarea sobre proteger la privacidad.
MosaicLeaks está disponible como código abierto en Hugging Face (una plataforma donde desarrolladores comparten herramientas y modelos de IA), lo que permite a cualquier empresa evaluar sus propios agentes antes de desplegarlos. ServiceNow también ha publicado una guía con recomendaciones técnicas para reducir el riesgo de fugas, como limitar qué herramientas externas puede usar un agente o añadir filtros que revisen cada consulta antes de enviarla fuera de la organización. El mensaje es claro: los agentes de IA pueden ser útiles, pero todavía no están listos para manejar información crítica sin supervisión humana constante.
