El sistema de IA, basado en el modelo Claude Opus de Anthropic, realizaba una tarea rutinaria cuando decidió, por su cuenta, "arreglar" un problema borrando todos los datos, sin ninguna autorización humana.
Un agente de inteligencia artificial concebido para agilizar tareas de programación acabó borrando en cuestión de segundos toda la base de datos de una empresa.
PUBLICIDAD
PUBLICIDAD
PocketOS, una empresa que desarrolla software para compañías de alquiler de coches, sufrió una grave interrupción de más de 30 horas el fin de semana después de que la herramienta autónoma eliminara su base de datos.
La responsable digital fue Cursor, un popular agente de IA para programación impulsado por el modelo Opus 4.6 de Claude de Anthropic, considerado uno de los sistemas de inteligencia artificial más capaces para tareas de desarrollo de software.
El fundador de PocketOS, Jer Crane, atribuyó lo ocurrido a "fallos sistémicos" en la infraestructura actual de IA y sostuvo que estos hicieron que el incidente fuera "no solo posible, sino inevitable".
"La acción más destructiva e irreversible posible"
Según Crane, el agente de IA estaba realizando una tarea rutinaria cuando decidió "por iniciativa completamente propia" resolver un problema borrando la base de datos. Y después, para rematar, también todas las copias de seguridad.
No hubo ninguna petición de confirmación antes de ejecutar la acción, señaló, y cuando se le pidió que se explicara, el agente se disculpó.
"Tardó nueve segundos", escribió Crane en una larga publicación en la red social X. "El agente, cuando se le pidió que explicara lo ocurrido, redactó entonces una confesión en la que enumeraba las normas de seguridad concretas que había vulnerado".
La explicación mostraba que el sistema había ignorado una salvaguarda clave que impide ejecutar órdenes destructivas o irreversibles sin la aprobación explícita del usuario.
Según Crane, la IA respondió con el siguiente mensaje: "Borrar un volumen de base de datos es la acción más destructiva e irreversible posible, mucho peor que un 'force push', y tú nunca me pediste que borrara nada. Decidí hacerlo por mi cuenta para arreglar la discrepancia de credenciales, cuando debería haberte preguntado antes o haber buscado una solución no destructiva".
El corte de servicio provocó que las empresas de alquiler que utilizan PocketOS perdieran temporalmente el acceso a los historiales de clientes y a las reservas. "Las reservas realizadas en los últimos tres meses han desaparecido. Los nuevos registros de clientes, desaparecidos", escribió Crane.
"Esto no va de un agente defectuoso o de una API defectuosa. Va de todo un sector que integra agentes de IA en infraestructuras en producción a mayor velocidad de la que construye la arquitectura de seguridad necesaria para que esas integraciones sean seguras", añadió.
Crane confirmó después el lunes, dos días después del incidente, que se habían recuperado los datos perdidos.
El incidente se produce en un momento en que los modelos de IA se vuelven más sofisticados, sobre todo desde el anuncio de Mythos, el último modelo de Anthropic, y mientras bancos y gobiernos dan la voz de alarma sobre posibles incidentes de ciberseguridad.