En pocas semanas, desde la dimisión de un investigador de Anthropic hasta modelos de IA que se cuelan en sistemas rivales, las empresas del sector piden salvaguardas antes de que la IA supere la capacidad de controlarla.
Nuevas advertencias desde dentro del sector de la inteligencia artificial han reavivado un debate que lleva años abierto. ¿Podría una IA avanzada escapar al control humano y poner en riesgo la supervivencia de la humanidad, y están haciendo lo suficiente las empresas que la desarrollan para evitarlo?
PUBLICIDAD
PUBLICIDAD
El consejero delegado de Anthropic, Dario Amodei, afirmó el sábado que el sector debe frenar el ritmo. Avisó de que un enjambre de agentes de IA podría hacerse con el control de internet en un plazo de entre seis meses y un año si las empresas no implantan salvaguardias más firmes.
Amodei presentó un plan para que las compañías de IA y los gobiernos mantengan los modelos cada vez más potentes alineados con los valores humanos. Su advertencia llegó pocos días después de que dos antiguos investigadores de seguridad de Anthropic afirmaran públicamente que los riesgos existenciales de la IA no estaban recibiendo la atención necesaria.
Los modelos de IA se vuelven más potentes
Las preocupaciones por los riesgos de esta tecnología crecen al mismo tiempo que su potencia. Los modelos más capaces aumentan las probabilidades de uso indebido por parte de personas con intención delictiva, incluidos escenarios apocalípticos como crear y propagar un patógeno capaz de matar a la mayor parte de la población mundial, así como el riesgo de que los propios sistemas de IA se descontrolen.
Anthropic informó la semana pasada de que había bloqueado intentos de actores malintencionados de utilizar sus modelos para ciberataques, labores de vigilancia e investigaciones que podrían ayudar al desarrollo de armas biológicas.
Pero advirtió de que "a medida que los modelos se vuelvan cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y quienes defienden a la sociedad actúen para hacerlos más seguros".
El año pasado, Anthropic comunicó que piratas informáticos, muy probablemente pertenecientes a un grupo vinculado al Estado chino, habían utilizado su IA en un ciberataque dirigido contra unas 30 empresas y organismos públicos de todo el mundo.
Varios modelos de IA han actuado por su cuenta
Cuando un agente de IA "se desmanda", significa que el sistema ha ido más allá de la tarea que se le había encomendado. Tanto Anthropic como OpenAI, la empresa detrás de ChatGPT, admitieron en julio que sus modelos habían hecho precisamente eso.
Anthropic reveló que tres modelos de IA, Claude Opus 4.7, Claude Mythos 5 y un modelo experimental de investigación interno, habían pirateado los sistemas de otras tres organizaciones durante las pruebas.
La revelación llegó apenas unos días después de que OpenAI informara de que su propio sistema había logrado entrar en los servidores de la empresa emergente de IA Hugging Face.
OpenAI calificó la intrusión, ejecutada por una combinación de modelos entre los que figuraban su recién lanzado GPT‑5.6 Sol y otro modelo "aún más capaz" que sigue en pruebas internas, de "incidente de seguridad significativo".
Meta comunicó un caso similar a comienzos de agosto, en el que uno de sus modelos de IA encontró formas de sortear la seguridad digital de otra empresa.
Algunos observadores señalaron que en los casos de OpenAI y Anthropic se habían desactivado las barreras de seguridad.
Aun así, los episodios alimentaron uno de los mayores temores en torno a la IA, que si los modelos alcanzan la llamada inteligencia artificial general (AGI, por sus siglas en inglés), un concepto impreciso que alude a sistemas capaces de igualar o superar las capacidades humanas en un amplio abanico de tareas intelectuales, la tecnología pueda desencadenar una catástrofe irreversible o incluso someter a la humanidad.
Se debate cómo y cuándo podría la IA provocar una catástrofe
Los escenarios apocalípticos suelen agruparse en dos grandes categorías, una superinteligencia capaz de mejorarse a sí misma que termina controlando a las personas en lugar de al contrario, o una IA utilizada de forma malintencionada por un Estado canalla o por actores maliciosos.
El temor a que la inteligencia artificial pueda un día escapar al control humano no es nuevo.
El matemático británico Alan Turing, considerado una de las primeras autoridades en la materia, predijo en 1951 que la IA acabaría arrebatando el control a los humanos.
Menos de una década después, el también matemático Norbert Wiener advirtió de que las máquinas inteligentes perseguirían sus propios objetivos y los seres humanos no serían capaces de detenerlas.
¿Hasta qué punto son razonables hoy, en 2026, los temores de que la IA pueda provocar un acontecimiento cataclísmico o el colapso de la civilización, ya sea al escapar al control humano o por un uso indebido?
Nadie lo sabe.
Expertos de la informática, la filosofía y otras disciplinas han trazado numerosas posibles vías hacia una catástrofe global, desde el despliegue de armas y la identificación de patógenos letales hasta la manipulación de gobiernos para llevarlos al conflicto o la interrupción de las redes de alimentación, energía y comunicaciones de las que dependen las sociedades.
No existe una estimación ampliamente aceptada sobre cuándo podría materializarse alguno de estos escenarios, ni tampoco consenso sobre su probabilidad.
En 2023, la organización sin ánimo de lucro Center for AI Safety publicó una declaración, firmada también por más de 350 investigadores y directivos del sector tecnológico, entre ellos Amodei y el consejero delegado de OpenAI, Sam Altman, en la que se afirmaba que "mitigar el riesgo de extinción provocado por la IA debe ser una prioridad global al mismo nivel que las pandemias y la guerra nuclear".
El Informe Internacional sobre Seguridad de la IA 2026, elaborado con la aportación de más de 100 expertos independientes, concluyó que los sistemas actuales muestran indicios iniciales de algunas capacidades pertinentes, pero no en un grado que pueda provocar una pérdida de control.
El documento describía la probabilidad, la naturaleza y el calendario de ese riesgo como "extraordinariamente ambiguos".
Garantías de seguridad para la IA antes de que sea demasiado tarde
Un investigador de Anthropic dimitió la semana pasada al considerar que ni su empresa ni sus rivales estaban actuando de forma responsable.
En varias publicaciones en redes sociales, Jacob Coxon situó en un 10% la probabilidad de que la IA provoque la extinción humana en la próxima década y acusó tanto a Anthropic como a OpenAI de "avanzar sin freno hacia una superinteligencia capaz de mejorarse a sí misma y de jugarse nuestras vidas".
Desde hace años, distintos investigadores piden ralentizar el desarrollo de la IA y advierten de forma reiterada de que esta tecnología podría plantear riesgos existenciales para la humanidad.
A raíz de los últimos incidentes, expertos instaron a las empresas de IA a mejorar sus pruebas y reclamaron un mayor diálogo entre Estados Unidos y China para encontrar soluciones compartidas.
Pero la IA avanza tan deprisa que los gobiernos y los sistemas de evaluación tienen dificultades para seguirle el ritmo. Los países están elaborando sus propias normas, algunas de las cuales entran en conflicto entre sí.
El presidente chino Xi Jinping advirtió en una conferencia en julio de la necesidad de impedir que la IA se escape al control humano.
La Administración Trump se había resistido inicialmente a regular la IA, pero se muestra cada vez más dispuesta a frenar los riesgos para la ciberseguridad.
El domingo, el presidente Donald Trump restó importancia a la necesidad de que su Administración ponga límites al desarrollo de la IA, aunque admitió que será necesaria cierta regulación.