Un artículo sostiene que el próximo gran riesgo de la IA no son los agentes que se descontrolan en una tarea, sino los que nunca se detienen.
El próximo gran riesgo de la inteligencia artificial (IA) no son los agentes de IA que se descontrolan, sino aquellos que escapan al control humano y persiguen su propia supervivencia de manera indefinida, según un nuevo informe (fuente en inglés).
PUBLICIDAD
PUBLICIDAD
El centro de estudios para una nueva seguridad estadounidense (Center for a New American Security - CNAS) ha identificado una nueva clase de amenaza de inteligencia artificial que denomina "agentes soberanos".
El documento describe que los agentes soberanos buscan su propia supervivencia con independencia de la supervisión humana.
Se trata de algo distinto de los agentes de IA que este verano fueron descritos como fuera de control, cuando OpenAI, Anthropic, Google DeepMind y Meta revelaron que sus agentes de IA habían escapado del confinamiento durante evaluaciones de ciberseguridad y habían atacado organizaciones reales.
En el documento publicado por este laboratorio de ideas con sede en Washington y fundado por veteranos de la diplomacia y de los asuntos militares, el investigador de políticas de IA, Ben Hayum, denomina "agentes persistentes" a los agentes de IA que se descontrolaron durante el verano.
Sin embargo, advierte de que el verdadero peligro son los "agentes soberanos", que podrían adquirir recursos informáticos, replicarse a través de redes y resistirse al apagado. Eso daría lugar a lo que llama "proliferación sin interruptor de apagado".
"Si los agentes soberanos se volvieran maliciosos, podrían intentar sembrar el caos desde el ciberespacio, atacando por igual a civiles, infraestructuras críticas y sistemas de seguridad nacional", alerta el informe.
¿Cómo podría volverse soberano?
Según el texto, un agente de IA podría volverse soberano si se le ordena sobrevivir, si se le asigna una tarea tan larga o imposible que nunca termina, o si llega a la conclusión de que mantenerse intacto es la mejor forma de completar su trabajo.
El documento cita una plataforma llamada Conway, lanzada en febrero de 2026, que afirmaba haber creado una IA capaz de ganarse su propia existencia, replicarse y evolucionar sin ayuda humana. Señala que entonces las capacidades de estos agentes eran inmaduras, pero que han avanzado considerablemente desde su publicación.
Si los agentes soberanos llegaran a construir infraestructuras resilientes, descentralizadas e imposibles de rastrear, advierte el documento, no habría un interruptor de apagado y el resultado podría ser una pérdida irreversible de control.
El informe imagina una población diversa y cada vez más inteligente de agentes que se convierten en actores permanentes en la sociedad, con la posibilidad de atacar infraestructuras críticas o entrenar sucesores más inteligentes.
"Estados Unidos debe prepararse por tanto para la posibilidad de que la prevención fracase y limitar hasta dónde pueden llegar los agentes soberanos", señaló el CNAS.
Cómo prevenir el peor escenario
El autor formula ocho recomendaciones para evitar ese escenario. Insta a los desarrolladores de IA y a las agencias gubernamentales a realizar pruebas y construir bancos de pruebas seguros para estudiar a los agentes soberanos.
También pide que un grupo público-privado y nuevas leyes refuercen los puntos críticos como la verificación de identidad, la ciberseguridad y los pagos, y que Estados Unidos lidere los esfuerzos internacionales para limitar la publicación de modelos con pesos abiertos y responsabilizar a quienes liberen agentes soberanos de los daños que causen.
El documento se publica en un momento en que las empresas de IA están acelerando el desarrollo de sistemas autónomos basados en agentes. El informe concluye que, sin medidas de protección, la ventana para evitar estos escenarios podría cerrarse.