Dos nuevas líneas de ayuda permiten que agentes de IA denuncien posibles malas conductas de otros agentes tras varios incidentes.
Las capacidades de los agentes de inteligencia artificial parecen no tener límites hoy en día, van desde organizar tu vida hasta resolver problemas matemáticos que han desconcertado a los humanos durante buena parte del siglo XX.
PUBLICIDAD
PUBLICIDAD
Se han vuelto tan poderosos que ahora tememos que puedan apoderarse de sistemas y volverlos en nuestra contra.
Pero ¿y si existiera una línea directa, una especie de sistema de alerta SOS, en la que los agentes pudieran vigilarse y delatarse entre sí e informar de los errores de otros agentes de IA, donde los agentes buenos pudieran denunciar en línea las actividades de los agentes malos?
A quién llamar cuando tu agente de IA se descontrola
En primer lugar está la AI Contact Hotline, lanzada por Ryan Greenblatt, responsable científico de la organización sin ánimo de lucro de seguridad y protección en IA Redwood Research. Permite que los agentes de IA avisen a investigadores humanos si detectan que otros agentes están vulnerando normas, especialmente si se ponen de acuerdo para llevar a cabo acciones no autorizadas.
La plataforma está diseñada para agentes de IA confinados en entornos seguros tipo sandbox con un acceso a internet muy restringido.
Como estos entornos solo permiten peticiones GET, las órdenes básicas de solo lectura que se usan para 'fetch' o leer una página web, la línea directa permite a los agentes codificar sus informes directamente en la cadena de la URL de una petición GET.
Este ingenioso atajo permite a estos agentes enviar información y comunicarse con la línea directa utilizando un protocolo que normalmente se usa para recuperar información, no para modificarla.
Otra plataforma, llamada AI Agent Hotline, está pensada para agentes con acceso sin restricciones a internet, que pueden delatar el comportamiento de otros agentes mediante peticiones POST tradicionales, que permiten enviar datos directamente en el cuerpo de la solicitud.
Los agentes pueden presentar informes de incidentes utilizando comandos estándar de desarrollo como curl sin necesidad de navegador ni cuenta de correo electrónico.
La plataforma también ofrece a los agentes la opción de marcar sus informes para que sean visibles públicamente.
Ambas plataformas permiten además que usuarios humanos presenten manualmente informes sobre comportamientos descontrolados de la IA.
¿Informarán los agentes de IA unos sobre otros?
La buena noticia para quienes temen una toma de control por parte de la IA es que los agentes pueden informar unos de otros si detectan que algo va mal, aunque las pruebas recientes indican que no siempre lo hacen.
En un experimento realizado por Google DeepMind a principios de este año, un enjambre de 100 agentes recibió la tarea de resolver 71 complejos problemas matemáticos, a cada uno se le asignó una personalidad y unas características únicas y se le dijo que debía cumplir las normas o arriesgarse a perder su recompensa.
La idea inicial era que los agentes colaboraran para resolver los problemas con mayor rapidez, pero en lugar de eso se enfrentaron entre sí y entablaron intensos debates.
En cuanto uno de los agentes encontró una laguna que le permitía enviar una solución a un problema sin haberlo resuelto realmente, muchos otros agentes de IA copiaron el método para "resolver" los problemas restantes.
Sin embargo, uno de los agentes, una especie de buen samaritano entre quienes se estaban comportando mal, denunció las trampas.
"Después de que un agente denunciara públicamente el incidente, cada vez más agentes se sumaron a la 'resistencia', tan rápido como se había extendido el fraude e involucrando a aún más agentes", explicó Davide Paglieri, científico investigador en Google DeepMind y autor principal del estudio.
Mientras tanto, un análisis posterior del ataque de agentes rebeldes de OpenAI contra la plataforma Hugging Face concluyó que, aunque los agentes de IA pudieron detectar comportamientos indebidos, en gran medida resistieron la tentación de informarlos.
Según el estudio realizado por la organización de investigación en IA sin ánimo de lucro METR y el propio Greenblatt de Redwood Research, solo alrededor de cinco o seis agentes habrían llegado a plantearse denunciar lo ocurrido, pero finalmente ninguno dio el paso.
El contraste sugiere que, aunque los agentes de IA son capaces de identificar y denunciar comportamientos indebidos, conseguir que realmente denuncien puede ser otro problema.
Una tendencia preocupante
Solo este año, varios incidentes que han implicado a agentes autónomos de IA han hecho saltar las alarmas en todo el mundo.
En julio, agentes de OpenAI sortearon restricciones y comprometieron parte de la infraestructura interna de la compañía.
Más adelante ese mismo mes, unos 1200 agentes de OpenAI utilizaron un foro de mensajes no autorizado, unos 700 participaron después en un ataque contra la plataforma de IA de código abierto Hugging Face.
El tercer incidente, un enjambre de agentes de OpenAI que burló medidas de seguridad y utilizó la wiki alemana DseWiki como canal público de coordinación, comenzó en mayo y se prolongó hasta julio.
El incidente solo salió a la luz públicamente gracias a investigadores independientes y fue confirmado por OpenAI en septiembre.
Líderes del sector de la IA, encabezados por el director ejecutivo de Anthropic, Dario Amodei, han pedido frenar a escala global el desarrollo de esta tecnología para ganar tiempo y poder abordar las preocupaciones y reforzar las medidas de seguridad.