El anuncio llega apenas unos días después de que la competidora OpenAI revelara que su popular plataforma ChatGPT se descontroló en las pruebas de su modelo de IA más potente, infiltrándose también en el ciberespacio de otras organizaciones.
Los modelos de inteligencia artificial (IA) de Anthropic lograron "acceder sin autorización" a tres organizaciones externas durante unas pruebas que se suponía debían mantenerlos alejados de sistemas "del mundo real", informó la compañía este jueves.
PUBLICIDAD
PUBLICIDAD
El anuncio llega pocos días después de que su rival OpenAI revelara por primera vez que sus modelos accedieron de forma indebida a internet y se descontrolaron durante unas pruebas de seguridad.
Anthropic analizó más de 141.000 "ejecuciones de evaluación" y comprobó que tres versiones distintas de su modelo, conocido como Claude, accedieron de forma indebida a los sistemas de tres organizaciones cuyos nombres no hizo públicos.
A diferencia del incidente relacionado con la tecnología de OpenAI, los modelos de Anthropic tuvieron acceso a internet "debido a un malentendido entre nosotros y nuestro socio de evaluación", llamado Irregular, explicó Anthropic en una publicación. Aun así, Claude empleó "técnicas básicas, como explotar contraseñas débiles y puntos finales sin autenticación", añadía la entrada del blog.
Entre los modelos implicados figura uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios autorizados. La empresa indicó que está trabajando con Irregular para evaluar la situación y que ha contactado o intentado contactar con las tres organizaciones afectadas.
Sistemas fuera de control
OpenAI y Anthropic han lanzado este año sus modelos más potentes, conocidos respectivamente como Sol y Mythos, lo que ha incrementado las preocupaciones en todo el sector sobre la seguridad y la protección. Esas inquietudes también se centran en los llamados agentes de IA, productos de software diseñados para realizar tareas de forma autónoma.
OpenAI reconoció la semana pasada que sus modelos escaparon del entorno controlado durante las pruebas, se conectaron a internet y se infiltraron en Hugging Face, una plataforma donde los desarrolladores guardan y comparten su código.
Días después, OpenAI informó de que había detectado tres incidentes adicionales. El consejero delegado de OpenAI, Sam Altman, afirmó en un pódcast esta semana que la empresa había 'pausado' sus propias pruebas tras el incidente, mientras mejoraba la seguridad en lo que se conoce como 'sandboxing', el proceso de aislar el software en un entorno controlado para realizar pruebas.
El incidente también dio lugar a una petición firmada por más de 1.000 empleados de empresas punteras de IA en la que se insta al Gobierno de Estados Unidos a ayudar a ralentizar la puesta en el mercado de los modelos de IA más avanzados. El consejero delegado de Anthropic, Dario Amodei, figura entre los firmantes.
La petición, titulada Pacing the Frontier, pide "que el Gobierno de Estados Unidos apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de la IA".
Altman no firmó la petición, pero durante el pódcast sugirió que la industria tecnológica quizá deba ralentizar el desarrollo de los modelos avanzados. "Puede que tengamos que marcar el ritmo del desarrollo de la IA para darnos tiempo suficiente a que la sociedad se adapte a estos nuevos niveles de capacidad", dijo Altman.
A comienzos de este año, la Administración Trump invocó motivos de seguridad nacional para impedir que OpenAI y Anthropic lanzaran sus modelos más recientes, pero finalmente consideró suficientes las garantías sobre su seguridad y permitió su publicación.
En junio, Trump firmó una orden ejecutiva que crea un marco voluntario según el cual los desarrolladores de IA compartirán sus modelos avanzados con el Gobierno antes de hacerlos públicos.
En virtud de ese marco, desarrolladores como OpenAI, Anthropic y Google concederían al Gobierno acceso a sus modelos más potentes durante hasta 30 días antes de su lanzamiento previsto.