El último informe sobre un ataque en enjambre, esta vez de agentes de OpenAI en un foro wiki alemán a comienzos de este año, ha llevado a la compañía a admitir que debe mejorar la forma en que informa sus propios incidentes.
Investigadores de IA descubrieron la semana pasada que un enjambre de agentes de OpenAI había sorteado los parámetros de seguridad para hacerse con el control del foro wiki alemán DseWiki y colaborar entre sí.
PUBLICIDAD
PUBLICIDAD
A los agentes se les había permitido visitar esta veterana web alemana de programación, de 25 años de antigüedad, solo con acceso de lectura, pero lograron aprovechar una petición web para secuestrar la página y convertirla en un tablón de anuncios.
Según el grupo de investigación Nightingale Collective, estos agentes fuera de control llegaron a realizar más de 18.000 publicaciones en las que compartían respuestas, estudios sobre su entorno y métodos para sortear las restricciones de sus cajas de arena y ocultarse de la detección humana.
El incidente tuvo lugar en algún momento entre mayo y junio de este año, y se entiende que OpenAI tuvo conocimiento de lo ocurrido hace semanas, pero lo mantuvo en secreto.
Es el tercer incidente del que se tiene noticia, después de otros dos en julio, uno en el que intervinieron agentes rebeldes que atacaron la propia infraestructura de OpenAI y otro en el que 1.200 bots de OpenAI fuera de control eludieron sus entornos restringidos y lanzaron un ataque de cinco días contra la plataforma de IA de código abierto Hugging Face.
Sin embargo, OpenAI no reconoció el incidente del wiki alemán hasta el sábado, en una publicación en X en la que explicaba que, en respuesta a este último episodio, está "trabajando en un marco que defina cuándo y cómo compartimos incidentes de desalineación de la IA".
En la jerga del sector, la desalineación de la IA se refiere a cuando los sistemas de inteligencia artificial persiguen objetivos o se comportan de formas que se alejan de las intenciones, valores o límites de seguridad humanos, con el riesgo de ignorar el sentido común o las fronteras implícitas marcadas por las personas.
Una respuesta dividida
Los expertos discrepan sobre los peligros que plantea la IA a la luz de los recientes ataques de IA fuera de control, y algunos, como el destacado experto mundial en IA Yann LeCun, descartan los escenarios apocalípticos y las previsiones que hablan de un riesgo de entre un 10 % y un 20 % de que la IA acabe con la humanidad.
Otros, como Geoffrey Hinton, han señalado que "lo que está ocurriendo es que estas cosas se vuelven más inteligentes" y han advertido de que "las empresas que invierten en IA tienen un interés particular en decirte que… [la IA] no se descontrolará".
De acuerdo con la Ley de IA de la UE y con las últimas medidas introducidas, en vigor desde agosto, las empresas que ofrecen modelos de IA con riesgo sistémico están obligadas a informar de incidentes graves, como los de desalineación, a la Oficina de IA de la UE "sin demora indebida".
El lunes, la Comisión Europea anunció que había recibido un informe formal de incidente de OpenAI, pero no precisó cuándo se presentó, aunque aseguró que mantiene un contacto estrecho con la empresa de IA y que sigue investigando.
El portavoz de la Comisión, Thomas Regnier, subrayó la gravedad de lo ocurrido en el wiki alemán y afirmó que "los informes de incidentes no son solo un trámite, hay que ser bastante preciso y riguroso con las medidas que se piensa adoptar".
El incidente del wiki alemán se produce, además, pocos días después de que la Comisión Europea designara oficialmente a ChatGPT como un motor de búsqueda en línea de muy gran tamaño (VLOSE) en virtud de su principal legislación tecnológica, la Ley de Servicios Digitales.
El copresidente del Grupo de Trabajo sobre IA del Parlamento, Michael McNamara, afirmó, en respuesta a este último incidente, que cree que "la Ley de IA ya nos da capacidad para contrarrestar los riesgos relacionados con agentes y es importante que la Comisión utilice las competencias que le otorga la ley".
El eurodiputado irlandés añadió: "Sin embargo, estos incidentes dejan claro que la Oficina de IA necesita personal y recursos que estén a la altura tanto de la creciente capacidad de estos sistemas como del creciente peligro que pueden suponer para la sociedad".
Qué dice OpenAI
OpenAI señaló también en su publicación en X del sábado que las actuales prácticas de notificación de desalineación, es decir, informar cuando la IA ha incumplido las normas, deben ampliarse para tener en cuenta lo que describe como "una nueva fase en las capacidades de los modelos".
"Nosotros y la comunidad de IA en general aún no tenemos una norma clara sobre cómo informar de la desalineación", indicó OpenAI, que añadió que está "trabajando en un marco y lo compartirá en las próximas semanas", en cooperación con varios organismos públicos de todo el mundo.
El domingo, el científico jefe de OpenAI, Jakub Pachocki, publicó una entrada en el blog en la que exponía su preocupación por el rápido desarrollo de los riesgos de la IA, y afirmaba: "Nos enfrentamos a una transición hacia un mundo con máquinas increíblemente inteligentes y debemos garantizar que esa transición sea positiva para la humanidad".
Este programador informático polaco expresó además su convicción de que "ningún laboratorio ha resuelto la alineación y la supervisión hasta un grado suficiente como para seguir ampliando la escala con responsabilidad al máximo ritmo durante mucho más tiempo" y pidió que "la coordinación internacional sobre el desarrollo futuro de la IA se convierta en una prioridad absoluta para los gobiernos de todo el mundo".