Ofensiva global, varios países restringen o se pronuncian públicamente contra Grok por los 'deepfakes' sexuales explícitos creados sin consentimiento
Los Gobiernos de todo el mundo actúan con rapidez para frenar Grok, el chatbot de inteligencia artificial (IA) de Elon Musk, ante la creciente preocupación por la generación de imágenes falsas de carácter sexual explícito.
El verano pasado, xAI, la empresa que opera Grok, añadió una función de generación de imágenes que incluía un 'spicy mode' (modo picante) capaz de crear contenido para adultos. En las últimas semanas, Grok ha respondido a instrucciones de usuarios para "desvestir" imágenes de mujeres y vestirlas con bikinis, creando 'deepfakes' generados por IA sin salvaguardias.
Desde bloqueos totales en el Sudeste Asiático hasta investigaciones penales y advertencias regulatorias en Europa y Australia, las autoridades sostienen que las salvaguardias existentes están fallando. Estos son los países que han prohibido Grok o han emitido advertencias.
¿Qué países han prohibido Grok?
Indonesia
Indonesia fue el primer país en bloquear temporalmente Grok para proteger a las mujeres, a los niños y al conjunto de la comunidad frente a contenido pornográfico falso generado con IA.
"El Gobierno considera los 'deepfakes' sexuales no consentidos una grave vulneración de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", afirmó en un comunicado el sábado la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid. Las restricciones a Grok son una medida "preventiva" mientras las autoridades evalúan si la plataforma es segura, señaló la Policía Nacional de Indonesia.
Las conclusiones iniciales mostraron que Grok no dispone de salvaguardias eficaces para impedir la creación y distribución de contenido pornográfico a partir de fotografías reales de residentes en Indonesia, según un comunicado de Alexander Sabar, director general de Supervisión del Espacio Digital de Indonesia.
Sabar señaló que estas prácticas pueden vulnerar el derecho a la intimidad y a la propia imagen cuando las fotos se manipulan o comparten sin consentimiento, causando daños psicológicos, sociales y reputacionales.
Malasia
La Comisión de Comunicaciones y Multimedia de Malasia (MCMC) ordenó el domingo una prohibición temporal de Grok tras lo que calificó de "uso reiterado" de la herramienta para generar imágenes obscenas, de contenido sexual explícito y manipuladas sin consentimiento.
El regulador señaló que este mes envió dos notificaciones a X y a xAI exigiendo salvaguardias más firmes. En sus respuestas, X aseguró que Grok depende en gran medida de que los usuarios presenten quejas sobre contenido abusivo. La MCMC concluyó que X "no abordó los riesgos inherentes" en el diseño y la operativa de su plataforma de IA, algo que, dijo, es insuficiente conforme a la legislación malaya.
"La restricción se impone como una medida preventiva y proporcionada mientras continúan los procesos legales y regulatorios", señaló, y añadió que el acceso seguirá bloqueado hasta que se implanten salvaguardias eficaces.
¿Cómo han respondido otros países?
Unión Europea
La Comisión Europea anunció que está examinando casos de imágenes sugerentes y explícitas de niñas generadas por Grok. "Puedo confirmar desde este podio que la Comisión también está estudiando muy seriamente este asunto", declaró la semana pasada a los periodistas en Bruselas un portavoz de la Comisión.
Reuters informó de que la Comisión ordenó a X conservar todos los documentos relacionados con Grok hasta final de año para que el bloque pueda evaluar si cumple las normas de la UE.
Un portavoz de la Comisión dijo a Reuters que ello no implica que se haya abierto una investigación formal. Ursula von der Leyen, presidenta de la Comisión Europea, dijo en una entrevista con el diario italiano 'Corriere della Sera' que estaba "indignada de que una plataforma tecnológica permita a los usuarios desnudar digitalmente a mujeres y niños en internet".
Sin citar directamente a X o a Grok, Von der Leyen señaló que la Comisión "no delegará la protección de la infancia ni el consentimiento en Silicon Valley. Si ellos no actúan, lo haremos nosotros", afirmó.
Reino Unido
El regulador de los medios del Reino Unido abrió una investigación sobre X, la matriz de xAI y la red social de Musk, por el uso de Grok para generar imágenes de contenido sexual explícito y no consentidas.
Ofcom señaló en un comunicado que había "informaciones profundamente preocupantes" sobre el uso del chatbot para crear y difundir imágenes de personas sin ropa, así como "imágenes sexualizadas de menores".
El regulador también podría solicitar una orden judicial para obligar a los proveedores de acceso a internet a bloquear el acceso a Grok si X no cumple con los requerimientos de Ofcom.
X podría enfrentarse a una multa de hasta el 10% de su facturación mundial o 18 millones de libras (20 millones de euros). "El contenido que ha circulado en X es repugnante. No solo es una afrenta a una sociedad decente, es ilegal", dijo en el Parlamento Liz Kendall, la ministra de Tecnología.
Francia
La Fiscalía de París amplió a comienzos de enero una investigación sobre X para incluir a Grok, informaron los medios locales. La pesquisa inicial, en curso desde julio pasado, se centraba en una presunta injerencia organizada en los sistemas informáticos de X y en la extracción ilegal de datos.
La decisión de ampliar la investigación se tomó esta semana después de que cinco políticos acusaran a la plataforma de generar y difundir vídeos falsos de contenido sexual con menores, según el diario francés 'Le Parisien'.
El medio informó de que la Autoridad de Regulación de la Comunicación Audiovisual y Digital de Francia (Arcom) investiga posibles incumplimientos de X de la Ley de Servicios Digitales, la normativa europea para los servicios digitales.
Italia
El ocho de enero, la Autoridad Italiana de Protección de Datos (Garante) advirtió de que quienes utilicen Grok u otras plataformas de IA para quitar la ropa a personas, así como quienes distribuyan esas imágenes, se arriesgan a cargos penales.
El uso de estas herramientas sin el permiso de la persona que aparece en la foto podría considerarse "una grave vulneración de los derechos y libertades fundamentales de las personas afectadas", señaló el organismo. El organismo recordó además a Grok y a otros proveedores de IA que deben diseñar, desarrollar y poner a disposición productos que cumplan la normativa de privacidad.
El regulador italiano indicó que trabaja con la Comisión de Protección de Datos de Irlanda, autoridad principal de privacidad para X, dado que la sede de la compañía está en Irlanda.
En octubre, la autoridad italiana bloqueó ClothOff, otra plataforma de IA que elimina la ropa. La plataforma permite a cualquiera, incluidos menores, crear fotos y vídeos que muestran a personas reales desnudas o en posturas sexuales. En septiembre, Italia añadió un nuevo artículo a su código penal para castigar la difusión de 'deepfakes' generados por IA con penas de hasta cinco años de prisión.
Alemania
Alemania afirmó que presentará pronto una "propuesta concreta" para una nueva ley contra la violencia digital. Anna-Lena Beckfeld, portavoz del Ministerio de Justicia alemán, explicó en una rueda de prensa en enero que la futura ley de violencia digital será una vía de apoyo a las víctimas de este "tipo de violencia digital", al hacer "más fácil que actúen directamente contra las vulneraciones de sus derechos en línea".
Preguntada específicamente por Grok, Beckfeld afirmó que es "inaceptable que se utilice la manipulación a gran escala para vulneraciones sistémicas de los derechos personales". "Por tanto, queremos que se adopten medidas más contundentes contra ello por la vía penal", añadió.
En 2025, los tres principales partidos de Alemania acordaron reformar la ley de ciberdelincuencia y cerrar "lagunas" del código penal para los delitos relacionados con la IA, como las imágenes sexuales generadas por IA, según un acuerdo de coalición.
Australia
En enero, la oficina de la comisionada de eSafety de Australia señaló que en las últimas dos semanas había recibido un número pequeño pero creciente de denuncias sobre el contenido sexual de IA de Grok.
La oficina de la comisionada indicó que usará sus potestades, como un requerimiento de retirada que puede ordenar a una red social eliminar contenido problemático, si alguno vulnera la Ley de Seguridad en Línea del país. La oficina ya ha solicitado más información a X sobre el uso indebido de la función sexual de Grok y para evaluar si cumple la nueva ley de redes sociales de Australia.
También recordó a Grok que, a partir del nueve de marzo, los servicios en línea, incluidas las empresas de IA, deberán bloquear el acceso de los menores a contenidos sexuales, violentos o perjudiciales.