OpenAI impulsa estándares globales para evaluar la seguridad de la IA avanzada
La empresa de Sam Altman se une a otras compañías tecnológicas para crear marcos de evaluación comunes que permitan medir los riesgos de los modelos más potentes.
OpenAI se une a la Appia Foundation, una organización que reúne a empresas tecnológicas y centros de investigación para desarrollar estándares compartidos que permitan evaluar los riesgos de los modelos de IA más potentes. La iniciativa busca crear métricas comunes de seguridad que toda la industria pueda usar, evitando que cada empresa aplique sus propios criterios sin supervisión externa.
OpenAI anunció su respaldo a la Appia Foundation (una organización independiente creada para desarrollar estándares compartidos de evaluación de sistemas de IA avanzada), según informó la compañía en su blog oficial. La iniciativa busca que empresas, gobiernos y laboratorios de investigación utilicen criterios comunes para medir capacidades peligrosas de los modelos más potentes, como la posibilidad de ayudar a fabricar armas biológicas o vulnerar sistemas de ciberseguridad críticos.
La fundación, presentada este mes, reúne a representantes de OpenAI, Google DeepMind, Anthropic (la empresa que desarrolla Claude), Meta y varias instituciones académicas. Su objetivo es crear bibliotecas de evaluaciones técnicas que cualquier organización pueda usar para auditar sus propios modelos o los de terceros, evitando que cada empresa aplique sus propios baremos de seguridad sin supervisión externa.
OpenAI ya había desarrollado internamente un sistema de cuatro niveles de riesgo (del 1 al 4) para clasificar sus modelos según su capacidad de causar daños catastróficos. Ahora, mediante Appia, pretende que esas métricas se estandaricen y sean adoptadas por el resto de la industria, similar a cómo los automóviles pasan las mismas pruebas de choque independientemente del fabricante.
La iniciativa surge en un momento de creciente presión regulatoria: la Unión Europea ya obliga a las empresas a notificar incidentes graves con modelos de IA de propósito general (aquellos que pueden usarse para múltiples tareas, como GPT-4 o Gemini), y Estados Unidos está estudiando requisitos federales de evaluación antes de desplegar sistemas avanzados en sectores críticos. Appia aspira a que sus estándares sirvan de referencia común para esas regulaciones.
Más allá de las evaluaciones técnicas, la fundación también trabajará en prácticas de seguridad operacional: cómo almacenar de forma segura los pesos del modelo (los archivos que contienen la inteligencia del sistema y que, si se filtran, permiten a cualquiera replicarlo), cómo gestionar el acceso de empleados a sistemas peligrosos durante el entrenamiento, y protocolos de respuesta ante incidentes. OpenAI aportará experiencia técnica y parte de su equipo de seguridad, pero la fundación operará de forma independiente y sus estándares no serán vinculantes: cada compañía decidirá si los adopta.
