Los dos países asiáticos vetan el chatbot de xAI ante el riesgo para mujeres y menores. La falta de salvaguardas del denominado "modo spicy" ha disparado las alertas en la UE y Francia por vulnerar la dignidad en internet.
Malasia e Indonesia bloquearon Grok, el chatbot de inteligencia artificial (IA) desarrollado por xAI, la empresa de Elon Musk, después de que las autoridades alertaran de un uso indebido para generar imágenes sexualmente explícitas y no consentidas.
Son los primeros países en prohibir esta herramienta de IA generativa, un reflejo de la creciente preocupación global por su capacidad para producir imágenes, sonido y texto realistas, mientras las salvaguardas existentes no logran impedir su abuso.
El chatbot Grok, al que se accede a través de X, la red social de Musk, ha sido criticado por generar imágenes manipuladas, incluidas representaciones de mujeres en bikini o en poses sexualmente explícitas, así como imágenes que implican a menores.
Los reguladores de los dos países del sudeste asiático señalaron que los controles actuales no estaban impidiendo la creación y difusión de pornografía falsa, especialmente la que afecta a mujeres y menores. El Gobierno de Indonesia bloqueó temporalmente el acceso a Grok el sábado y Malasia lo hizo el domingo.
"El Gobierno considera los 'deepfakes' sexuales no consentidos una grave vulneración de los derechos humanos, de la dignidad y de la seguridad de la ciudadanía en el espacio digital", afirmó el sábado en un comunicado la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid. El Ministerio aseguró que la medida pretende proteger a mujeres, menores y al conjunto de la sociedad de contenidos pornográficos falsos generados con IA.
Las conclusiones preliminares indican que Grok carece de salvaguardas eficaces para impedir que los usuarios creen y difundan contenido pornográfico a partir de fotos reales de residentes en Indonesia, señaló en otro comunicado Alexander Sabar, director general de supervisión del espacio digital. Añadió que estas prácticas pueden vulnerar la privacidad y el derecho a la propia imagen cuando las fotos se manipulan o se comparten sin consentimiento, y causan daños psicológicos, sociales y reputacionales.
Restricciones en Kuala Lumpur y la respuesta de X Corp.
En Kuala Lumpur, la Comisión de Comunicaciones y Multimedia de Malasia ordenó el domingo una restricción temporal de Grok tras lo que calificó de "uso indebido reiterado" de la herramienta para generar imágenes obscenas, sexualmente explícitas y manipuladas sin consentimiento, incluido contenido que afecta a mujeres y menores.
El regulador señaló que los requerimientos enviados este mes a 'X Corp.' y 'xAI' para exigir salvaguardas más estrictas obtuvieron respuestas que se apoyaban principalmente en mecanismos de denuncia por parte de los usuarios.
"La restricción se impone como una medida preventiva y proporcionada mientras continúan los procesos legales y regulatorios", indicó, y añadió que el acceso seguirá bloqueado hasta que se implanten salvaguardas efectivas.
El "modo spicy" y el escrutinio internacional
Lanzado en 2023, Grok es de uso gratuito en X. Los usuarios pueden hacerle preguntas en la red social y etiquetar publicaciones que han creado directamente o respuestas a publicaciones de otros usuarios.
El verano pasado, la empresa añadió una función de generación de imágenes, Grok Imagine, que incluía un denominado "modo spicy" capaz de generar contenido para adultos.
Las restricciones en el sudeste asiático llegan en medio de un creciente escrutinio de Grok en otros lugares, incluida la Unión Europea, Reino Unido, India y Francia. La semana pasada, Grok limitó la generación y edición de imágenes a los usuarios de pago tras la ola de críticas global por los deepfakes sexualizados de personas, pero los críticos sostienen que la medida no resuelve del todo el problema que afecta a la seguridad en el internet.