En directo
[Regulación]¿Es legal entrenar modelos de IA con libros protegidos por derechos de autor?[Negocios]Una IA jefa despidió a su primer empleado humano, pero solo después de que le recordaran sus propias normas[Herramientas]Cómo una comunidad mexicana volvió al adobe para reconstruir sus casas tras el huracán Otis[Investigación]Recrean la materia del Big Bang con átomos más pequeños que nunca[Regulación]La empresa de cámaras de vigilancia Flock pide un 'acuerdo' con sus críticos tras la ola de rechazo[Herramientas]Los Nothing Ear (3a) demuestran que los auriculares baratos ya no suenan peor[Modelos de IA]Ox Alpha, el modelo de IA anónimo que nadie sabe quién ha creado[Investigación]Moderna logra resultados prometedores con una vacuna contra el melanoma diseñada con inteligencia artificial[Regulación]Estados Unidos presiona a sus aliados para que elijan bando en la carrera de la inteligencia artificial[Investigación]Cómo AlphaGo cambió la ciencia diez años después de ganar al campeón de Go[Regulación]¿Es legal entrenar modelos de IA con libros protegidos por derechos de autor?[Negocios]Una IA jefa despidió a su primer empleado humano, pero solo después de que le recordaran sus propias normas[Herramientas]Cómo una comunidad mexicana volvió al adobe para reconstruir sus casas tras el huracán Otis[Investigación]Recrean la materia del Big Bang con átomos más pequeños que nunca[Regulación]La empresa de cámaras de vigilancia Flock pide un 'acuerdo' con sus críticos tras la ola de rechazo[Herramientas]Los Nothing Ear (3a) demuestran que los auriculares baratos ya no suenan peor[Modelos de IA]Ox Alpha, el modelo de IA anónimo que nadie sabe quién ha creado[Investigación]Moderna logra resultados prometedores con una vacuna contra el melanoma diseñada con inteligencia artificial[Regulación]Estados Unidos presiona a sus aliados para que elijan bando en la carrera de la inteligencia artificial[Investigación]Cómo AlphaGo cambió la ciencia diez años después de ganar al campeón de Go
Transmitiendo ·

Noticias.
Inteligencia Artificial

Inteligencia Artificial para Gente Real · ES / PT-BR

InvestigaciónHugging Face Blog2 min

Los modelos de IA más nuevos siguen siendo igual de fáciles de hackear

Una investigación demuestra que las últimas versiones de GPT-4, Claude y Llama son tan vulnerables a ataques de jailbreak como sus predecesores.

Por Redacción2 min
Compartir
Los modelos de IA más nuevos siguen siendo igual de fáciles de hackear
Investigación · Hugging Face Blog

Cada vez que OpenAI, Anthropic o Meta lanzan una versión actualizada de sus modelos de inteligencia artificial, prometen que han mejorado la seguridad y reforzado las barreras que impiden que alguien les haga decir cosas peligrosas o inapropiadas. Pero según un estudio reciente de Dharma AI publicado en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), esas mejoras no están funcionando como se esperaba.

Los investigadores probaron técnicas de jailbreak (métodos para saltarse las restricciones de seguridad de un modelo y conseguir que genere contenido que normalmente rechazaría) en las versiones más recientes de GPT-4, Claude 3.7 Sonnet y Llama 3.3, entre otros. El resultado: los modelos nuevos fueron igual de fáciles de engañar que sus versiones anteriores. En algunos casos, la tasa de éxito de los ataques fue prácticamente idéntica entre generaciones, lo que sugiere que los sistemas de seguridad actuales no logran adaptarse a las tácticas que los atacantes ya conocen.

El problema, según el estudio, no es que las empresas no intenten proteger sus modelos, sino que las defensas que implementan —como filtros de contenido o ajustes de instrucciones— no son lo suficientemente robustas. Los atacantes utilizan métodos cada vez más sofisticados, como manipular el contexto de las preguntas o diseñar prompts (las instrucciones que se le dan al modelo) de forma que parezcan inofensivas pero terminen generando respuestas problemáticas. Y esos métodos siguen funcionando incluso después de que los modelos hayan sido actualizados.

Esto tiene implicaciones prácticas importantes. Empresas y gobiernos están integrando estos LLM (siglas de Large Language Model, los modelos de lenguaje grandes como GPT o Claude) en aplicaciones críticas, desde atención al cliente hasta sistemas de moderación de contenido. Si esos modelos pueden ser manipulados con relativa facilidad, el riesgo de que generen información falsa, contenido dañino o instrucciones peligrosas sigue presente, incluso en las versiones más recientes.

El equipo de Dharma AI, que se dedica a investigar la seguridad en sistemas de inteligencia artificial, argumenta que la industria necesita un cambio de enfoque: en lugar de limitarse a parchear vulnerabilidades conocidas, habría que diseñar sistemas que sean intrínsecamente más difíciles de manipular. Eso incluye mejores técnicas de alineación (el proceso de entrenar un modelo para que sus respuestas reflejen valores humanos y normas de seguridad) y, potencialmente, arquitecturas completamente nuevas que no dependan solo de filtros aplicados después del entrenamiento.

Fuente original
Hugging Face Blog
Más en · Investigación