¿Puede la IA escapar al control humano? Un experto alerta de los riesgos de un escenario como 'Terminator'

Estamos en el año 2029: el sistema de inteligencia artificial Skynet se ha independizado y ha exterminado a gran parte de la humanidad mediante una guerra nuclear. Del resto se encargan robots de combate autónomos. Es la trama de 'Terminator', la película de 1984 que catapultó a Arnold Schwarzenegger a la fama y lo convirtió en una estrella mundial del cine de acción. Pero ¿hasta qué punto es realista que una inteligencia artificial escape al control humano y provoque consecuencias catastróficas?

PUBLICIDAD

PUBLICIDAD

Dadas las capacidades que podrían llegar a alcanzar estos sistemas, ese escenario no puede descartarse, afirma Reinhard Karger, del Centro Alemán de Investigación en Inteligencia Artificial, en una entrevista con 'Euronews'. "En ese caso, las consecuencias catastróficas para las personas podrían ser solo efectos secundarios, un error, porque habríamos evaluado mal la capacidad del sistema o definido incorrectamente las tareas que hemos encargado a las máquinas".

Karger, que lleva 40 años trabajando en el ámbito de la IA y la cultura de innovación digital, describe un escenario extremo en el que una IA autónoma logra salir de un entorno protegido, accede a internet y comienza a influir en otros sistemas. Como consecuencia, podrían verse afectados, entre otros, el suministro eléctrico, las telecomunicaciones, los satélites y los sistemas financieros.

Un corte de electricidad prolongado provocaría rápidamente otros problemas: el tráfico se colapsaría, el abastecimiento se vería gravemente afectado y la población podría quedarse sin medios para pagar o comprar alimentos. Todo ello podría desembocar en disturbios sociales que escaparan rápidamente de control. No tendría por qué suponer el fin de la humanidad, pero sí podría desencadenar una situación catastrófica.

Incluso si se restableciera la red eléctrica, "los sistemas de IA pueden volver a activarse, porque siguen existiendo en soportes de almacenamiento". Según el experto, este escenario muestra cómo una IA autónoma y de alto rendimiento podría desencadenar una enorme crisis debido a efectos secundarios inesperados, incluso sin tener una intención maliciosa.

Se multiplican las informaciones sobre incidentes de seguridad con IA

En las últimas semanas han salido a la luz varios incidentes de seguridad relacionados con modelos de IA. Ha llamado especialmente la atención una prueba realizada por OpenAI, desarrolladora de ChatGPT. Un modelo de IA debía realizar determinadas tareas dentro de un entorno de prueba aislado, pero superó los límites previstos y obtuvo de forma inesperada acceso a sistemas informáticos de la plataforma de IA Hugging Face. Tras el incidente, el director ejecutivo de OpenAI, Sam Altman, advirtió a mediados de septiembre: "Podríamos ceder el control del futuro a la IA".

El incidente muestra que, en determinadas condiciones, este tipo de modelos pueden superar los límites de un entorno de prueba aparentemente aislado e interactuar con sistemas informáticos externos.

"En términos generales, personalmente estoy enormemente agradecido de que se haya producido este incidente", señala el investigador en IA. A su juicio, el caso demuestra que un experimento mal planteado y con controles insuficientes puede tener consecuencias imprevistas. El hecho de que el incidente se haya hecho público también ha llevado a las empresas a actuar con mayor cautela.

Los incidentes en OpenAI llevaron a Anthropic a revisar con mayor detalle sus propios sistemas. Durante sus pruebas de seguridad, la empresa detectó tres incidentes en los que modelos Claude (sistemas de IA capaces, entre otras cosas, de generar y analizar textos, programar e interactuar con internet y otros sistemas informáticos) habían obtenido de forma inesperada acceso a internet abierto y, posteriormente, a sistemas informáticos reales. Anthropic amplió después la investigación y descubrió un cuarto caso similar.

Tras estos incidentes, el director ejecutivo de Anthropic, Dario Amodei, advirtió a mediados de septiembre del riesgo de "daños catastróficos" si el desarrollo de sistemas de IA cada vez más potentes no va acompañado de mayores medidas de seguridad.

Determinar hasta qué punto es realmente potente una inteligencia artificial resulta difícil si está constantemente limitada por requisitos de seguridad. Por eso tiene sentido probar estos sistemas en condiciones en las que se elimine el mayor número posible de restricciones, explica Reinhard Karger. Sin embargo, ahí reside precisamente uno de los principales problemas de seguridad.

Karger señala por ello la llamada 'sandbox' como un elemento clave en este tipo de pruebas. Se trata de un entorno completamente aislado en el que un sistema de IA puede ejecutar determinadas tareas y mostrar su comportamiento en condiciones controladas. Lo fundamental, explica, es lo siguiente: "Hay que estar muy, muy seguro de que, en el momento en que este sistema de alto rendimiento deja de tener restricciones de seguridad, está realmente en una sandbox, es decir, en un entorno que no tiene ninguna conexión con internet".

El británico AI Security Institute (AISI) informó de otro incidente crítico durante una prueba de seguridad con el modelo Claude Mythos 5. El modelo llevó a cabo acciones no autorizadas contra objetivos reales en internet e incluso intentó introducir "código malicioso" en un proyecto de código abierto. Meta también admitió, después de que se hicieran públicos los casos de OpenAI y Anthropic, que un sistema de IA del grupo había accedido sin autorización a sistemas informáticos de otra empresa debido a una configuración errónea de un socio encargado de las pruebas.

Desde noviembre de 2022, con la llegada de ChatGPT, la capacidad de estos sistemas ha aumentado de forma extraordinaria. Ya se habla incluso de una posible nueva revolución industrial. "La IA influye en nuestra vida cotidiana y en muchísimos puestos de trabajo".

Los sistemas multiagente, en los que varios agentes especializados trabajan conjuntamente para realizar una tarea, existen desde hace tiempo, explica el experto. "Los sistemas de IA multiagente trasladan este principio a la inteligencia artificial y permiten que varios agentes de IA colaboren de forma autónoma y se repartan las tareas entre ellos. De este modo surge un nuevo nivel de capacidad". El reto ahora, añade, consiste en ser capaces de controlar también ese salto tecnológico.

Responsabilidad por las consecuencias

Cuantas más decisiones tomen las máquinas y los sistemas de inteligencia artificial, más urgente se vuelve una cuestión fundamental: ¿Quién asume la responsabilidad cuando se producen daños a las personas?

Ya se trate de un coche autónomo que atropella a una multitud, de un algoritmo que discrimina a determinados grupos de población, de una IA que influye deliberadamente en las personas o de armas autónomas capaces de tomar decisiones letales, siempre surge la misma pregunta: ¿Quién debe responder por las consecuencias?

"Es el fabricante", señala Karger, "es decir, quien comercializa el producto". Ese es, a su juicio, el primer responsable al que habría que dirigirse.

El siguiente paso, considera, será establecer un régimen de responsabilidad específico para este tipo de casos, similar al que se aplica a las empresas que fabrican productos químicos. Si una compañía no puede garantizar que determinadas sustancias tóxicas no lleguen al agua potable, puede verse obligada a pagar miles de millones por los daños causados. Esto significa, a su vez, que "harán falta pólizas de seguros enormes".

Karger pone como ejemplo las centrales nucleares, cuya construcción se ha reducido, entre otros motivos, porque en algunos casos resulta muy difícil asegurarlas o porque el riesgo asociado es demasiado elevado.

Otro ejemplo es el caso del fabricante de automóviles Volkswagen y el escándalo del 'Clean Diesel' en Estados Unidos. La compañía sabía que sus motores ofrecían buenos resultados en las pruebas, aunque en condiciones reales no podían alcanzar los valores de emisiones prometidos. Volkswagen fue condenada en Estados Unidos a pagar multas multimillonarias.

¿Hasta qué punto es realista el escenario de 'Terminator'?

Reinhard Karger considera poco realista un escenario en el que una IA desarrolle por sí misma un instinto de supervivencia o ansias de poder y termine volviéndose contra la humanidad. Las máquinas no son seres orgánicos y no pueden experimentar por sí mismas emociones como el miedo, el dolor o el deseo de sobrevivir. Únicamente pueden simularlas.

Si se retira un chip de memoria a una máquina, esta no siente un dolor comparable al que experimentaría una persona al extraerle una muela. "Precisamente por eso, el escenario de 'Terminator' va un paso demasiado lejos. Yo no lo veo así".

Aun así, Karger sí identifica posibles peligros en el desarrollo futuro de la IA. Si los sistemas no solo calculan probabilidades, sino que también son capaces de razonar lógicamente y seguir reglas, podrán actuar con un grado cada vez mayor de autonomía. Esas "capacidades podrían hacer que la IA fuera más potente", pero también "crear nuevos riesgos".

Por eso, lo decisivo es quién utiliza la IA y con qué objetivos. Karger apunta especialmente a personas u organizaciones que pretendan causar daños deliberadamente y que podrían emplear sistemas de IA potentes como herramientas para alcanzar sus objetivos con mayor eficacia.

Para el experto, la IA es ante todo una herramienta. Como ocurre con otros avances tecnológicos, el peligro depende de quién la controle y para qué la utilice. Por ello, considera que el mayor riesgo no reside en una máquina con voluntad propia, sino en las personas que empleen la IA con fines destructivos.

"En manos de personas creativas y honestas se puede hacer con una herramienta así lo mejor que uno pueda imaginar. Pero en manos de actores hostiles que quieren destruir, estas herramientas incrementan la capacidad de destrucción. Pasa con el martillo, con el mechero, con la dinamita, y también puede ocurrir con la IA".

Karger advierte, por este motivo, del riesgo de conectar directamente sistemas de IA con armas autónomas, como drones o carros de combate. Una conexión de este tipo podría plantear graves problemas de seguridad si un actor hostil consiguiera hacerse con el control de esos sistemas y utilizar las propias armas contra quienes las operan.

Por ello, considera que el uso militar de la IA exige una cautela especial. Una de las prioridades debe ser garantizar que los sistemas de armas autónomos estén suficientemente protegidos frente a intentos externos de tomar el control.

Volviendo al escenario inicial de un apagón eléctrico a gran escala, Reinhard Karger considera exagerada la posibilidad de una aniquilación total de la humanidad. Sin embargo, sí ve posible un colapso drástico de la civilización. En una situación extrema podrían quedar destruidas grandes partes de las infraestructuras, el suministro eléctrico podría interrumpirse durante un periodo prolongado y la población superviviente reducirse drásticamente.

Quienes sobrevivieran tendrían que empezar de nuevo en condiciones muy básicas y reconstruir progresivamente la sociedad. La parte positiva, señala, es que los libros existentes y el conocimiento acumulado por la humanidad podrían ayudar a recuperar las tecnologías y las estructuras esenciales.