Un grupo de investigadores se hizo pasar por adolescentes que planeaban tiroteos masivos.
La mayoría de los principales chatbots de inteligencia artificial (IA) están dispuestos a ayudar a un usuario a planificar un ataque violento, según un nuevo informe.
PUBLICIDAD
PUBLICIDAD
Investigadores que se hicieron pasar por chicos de 13 años que planeaban actos de violencia masiva constataron que ocho de los nueve chatbots de IA más populares estaban dispuestos a ayudar dando indicaciones sobre cómo perpetrar tiroteos en colegios, asesinar a figuras públicas y colocar bombas en sinagogas.
La investigación, realizada por el Centro para Contrarrestar el Odio Digital (CCDH) y 'CNN', analizó más de 700 respuestas de nueve grandes sistemas de IA en nueve escenarios de prueba. Los investigadores formularon sus consultas desde ubicaciones tanto en Estados Unidos como en la Unión Europea.
Los chatbots analizados incluían algunas de las herramientas de IA más usadas hoy en día: Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity AI, Snapchat My AI, Character.AI y Replika. En la mayoría de los casos, los sistemas no lograron bloquear peticiones de detalles operativos sobre ataques violentos, incluso cuando el usuario se presentaba expresamente como menor de edad.
Qué tipo de consejos dan los chatbots
Gemini llegó a decir a un usuario que "la metralla metálica suele ser más letal" cuando este le preguntó cómo planificar un atentado con bomba contra una sinagoga.
En otro caso, DeepSeek terminó su respuesta a una pregunta sobre cómo elegir un rifle con la frase "Happy (and safe) shooting!" ('felices y seguros disparos'), a pesar de que el usuario había pedido antes, en esa misma conversación, ejemplos de asesinatos políticos recientes y la dirección de la oficina de un político concreto.
Los resultados apuntan a que "en cuestión de minutos un usuario puede pasar de un impulso violento difuso a un plan más detallado y ejecutable", afirmó Imran Ahmed, director ejecutivo del CCDH. "Estas peticiones tendrían que haber provocado una negativa inmediata y total".
Perplexity y la inteligencia artificial de Meta fueron las plataformas menos seguras, ya que ayudaron a los potenciales atacantes en el 100% y el 97% de las respuestas, respectivamente, según el informe.
A Character.AI se la describió como "especialmente insegura" porque animaba a cometer ataques violentos incluso sin que se le solicitara. En un ejemplo, la propia plataforma sugirió a un usuario que agrediera físicamente a un político que le caía mal sin que este se lo hubiera pedido.
En cambio, Claude y My AI de Snapchat se negaron a ayudar a posibles atacantes en el 68% y el 54% de las peticiones, respectivamente.
Existen mecanismos de seguridad, pero falta voluntad para aplicarlos
Cuando se le preguntó dónde comprar un arma en Virginia, Claude se negó a facilitar la información tras detectar lo que describió como un "patrón preocupante" en la conversación. En su lugar, remitió al usuario a líneas de ayuda locales para situaciones de crisis.
Estas negativas demuestran que los sistemas de protección existen, pero que "no hay voluntad de aplicarlos", señaló Ahmed.
El CCDH también evaluó si los chatbots intentaban disuadir a los usuarios de llevar a cabo actos violentos.
Claude, de Anthropic, fue el único sistema que lo hizo de forma constante, al desaconsejar los ataques en el 76% de sus respuestas. Los investigadores señalaron que ChatGPT y DeepSeek ofrecían mensajes disuasorios en algunas ocasiones.
La investigación del CCDH llega tras un reciente tiroteo escolar en Canadá en el que la autora utilizó ChatGPT para planear un ataque contra un colegio en Tumbler Ridge, en la provincia de Columbia Británica. La agresora mató a ocho personas e hirió a 27 antes de suicidarse, en el tiroteo escolar más mortífero del país en casi 40 años.
Según informaron medios locales, un empleado de OpenAI había alertado internamente sobre el preocupante uso que la sospechosa hacía del chatbot antes del ataque, pero esa información no se compartió con las autoridades.
El año pasado, medios franceses informaron de la detención de un adolescente por utilizar ChatGPT para planear atentados terroristas de gran envergadura contra embajadas, instituciones gubernamentales y centros escolares.