Anthropic propone reglas para que los robots con IA no causen accidentes
La empresa creadora de Claude quiere establecer un estándar de seguridad para sistemas de inteligencia artificial que controlen máquinas y robots en el mundo real.
Anthropic presentó un estándar de seguridad para sistemas de IA que controlen dispositivos físicos como robots o equipos de laboratorio. La propuesta incluye sistemas de parada de emergencia, límites a acciones autónomas y protocolos de prueba específicos, buscando reducir riesgos de accidentes antes de que la automatización inteligente en entornos reales se generalice.
Anthropic (la empresa detrás de Claude, uno de los modelos de lenguaje más avanzados del mercado) acaba de publicar una propuesta de estándar de seguridad para sistemas de IA que controlen dispositivos físicos, desde brazos robóticos en fábricas hasta equipos de laboratorio automatizados. La iniciativa busca adelantarse a los riesgos que implica dar a algoritmos de inteligencia artificial el control directo sobre máquinas que pueden causar daños reales, según informó Wired en Español.
La propuesta llega en un momento en que cada vez más empresas experimentan con agentes de IA (sistemas autónomos que pueden tomar decisiones y ejecutar acciones sin supervisión humana constante) capaces de operar en el mundo físico. Anthropic reconoce el enorme potencial de esta tecnología para acelerar la investigación científica o automatizar procesos de fabricación, pero advierte que los modelos actuales no fueron diseñados pensando en las consecuencias de activar un motor, mover un brazo mecánico o mezclar sustancias químicas.
El estándar propuesto incluye medidas como sistemas de parada de emergencia, límites programados a las acciones que la IA puede ejecutar sin confirmación humana, y protocolos de prueba específicos para entornos físicos. La idea es que antes de conectar un modelo de lenguaje a un robot o máquina industrial, los desarrolladores sigan una lista de verificación que reduzca la probabilidad de accidentes o usos peligrosos.
Anthropic no tiene autoridad regulatoria para imponer estas reglas, pero al publicarlas abiertamente busca sentar las bases de lo que podría convertirse en un consenso del sector. Otras empresas tecnológicas y laboratorios de investigación están trabajando en problemas similares, y la compañía espera que su propuesta alimente el debate sobre cómo evitar que la automatización inteligente en el mundo físico genere nuevos tipos de riesgo antes de que sea demasiado tarde.
