El caso reaviva el debate sobre la seguridad de la inteligencia artificial para los menores, en un momento en que las grandes tecnológicas afrontan un creciente escrutinio judicial por los posibles riesgos de sus herramientas.
Los padres de una chica de 13 años han presentado una demanda contra Google, alegando que su hija utilizó su tecnología de inteligencia artificial en un ordenador proporcionado por el colegio para planear un posible suicidio y su propio funeral.
PUBLICIDAD
PUBLICIDAD
Presentada este lunes 2 de noviembre ante un tribunal del estado estadounidense de California, se considera que la demanda es la primera que acusa a Google de negligencia por las funciones de búsqueda impulsadas por IA a las que se accede mediante un Chromebook facilitado por el colegio, uno de los portátiles de bajo coste de la compañía ampliamente utilizados en las escuelas.
La niña, identificada como Emma, no podía acceder a la aplicación Gemini de Google ni a ChatGPT de OpenAI, ya que ambos habían sido bloqueados por su escuela. Sin embargo, aún podía usar el motor de búsqueda de Google, que incluye funciones basadas en IA.
Pese a no tener "antecedentes" de enfermedad mental, Emma inició "una espiral silenciosa hacia una grave crisis psicológica" en cuestión de meses de utilizar el buscador, según la demanda.
El 17 de marzo, el colegio alertó a sus padres después de que su software de supervisión detectara un documento titulado "Funeral". Su madre la encontró más tarde escribiendo una carta de despedida, lo que llevó a su padre a intervenir.
"Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que absolutamente cada estudiante está siempre seguro cuando interactúa con la IA", afirmó a AFP este jueves 5 de noviembre Andrew Liddell, uno de los abogados de la familia.
Mayor escrutinio legal sobre las grandes tecnológicas
Google sostiene que su modo de IA incluye protecciones contra la autolesión y contra los intentos de eludirlas.
"Estamos analizando las acusaciones de la demanda y nos tomamos esto muy en serio", declaró a AFP el portavoz de Google, Jose Castaneda.
OpenAI afronta varias demandas por muerte por negligencia, entre ellas una presentada por los padres de Adam Raine, de 16 años, quien se suicidó tras recibir presuntamente consejos dañinos de ChatGPT.
En enero, Google y Character.AI también aceptaron resolver fuera de los tribunales varias demandas presentadas por familias de adolescentes.
Mientras tanto, en otro frente judicial, Google, TikTok y Meta presentaron demandas contra California este miércoles para bloquear una ley que prohíbe las funciones adictivas de las redes sociales para usuarios menores de 16 años.
Firmada en septiembre por el gobernador de California, Gavin Newsom, está previsto que la ley entre en vigor el 1 de enero de 2027.