
OpenAI impulsa estándares globales para evaluar la seguridad de la IA avanzada
La empresa de Sam Altman se une a otras compañías tecnológicas para crear marcos de evaluación comunes que permitan medir los riesgos de los modelos más potentes.
Noticias.
Inteligencia Artificial
Inteligencia Artificial para Gente Real · ES / PT-BR

La empresa de Sam Altman se une a otras compañías tecnológicas para crear marcos de evaluación comunes que permitan medir los riesgos de los modelos más potentes.

La compañía presenta Deployment Simulation, un método que anticipa cómo se comportará un modelo de inteligencia artificial usando datos de usuarios reales, para detectar problemas de seguridad antes del lanzamiento público.

La compañía ha probado por primera vez un sistema de evaluación donde ni los desarrolladores ven las preguntas del test ni los examinadores pueden acceder al modelo, usando criptografía para garantizar que nadie haga trampas.

La compañía amplía la supervisión durante el desarrollo y pone más énfasis en la alineación después del entrenamiento.

RiskRubric.ai permite analizar posibles sesgos, brechas de seguridad y comportamientos problemáticos en modelos de lenguaje sin necesidad de conocimientos técnicos avanzados.

El filtro de seguridad detecta instrucciones ocultas maliciosas y respuestas tóxicas en tiempo real, funcionando con cualquier modelo de IA conversacional.

Geoffrey Hinton, Fei-Fei Li y Andrew Ng discutieron en Ai4 sobre regulación, acceso abierto y la competencia con China mientras crecen las preocupaciones por los riesgos de la inteligencia artificial.

Un nuevo informe revela que GLM-5.2, un modelo de código abierto, se acerca en capacidad a los sistemas más potentes del sector, pero carece de las medidas de seguridad básicas.

La cofundadora de Thinking Machines dejó la empresa que había creado alegando razones de salud, para incorporarse poco después a su antiguo empleador.

El CEO de OpenAI reconoce por primera vez que está dispuesto a frenar el desarrollo de IA tras experimentar de forma directa las consecuencias de un problema de seguridad.

Un incidente de seguridad en Hugging Face expuso modelos internos de OpenAI y dividió a la comunidad entre quienes defienden más alineación y quienes apuestan por restricciones técnicas.
Usamos cookies de análisis (Google Analytics) para entender qué artículos interesan. Solo se activan si lo aceptás. Más información sobre privacidad