La empresa afronta varias demandas, entre ellas la de una madre que afirma que un personaje de IA convenció a su hijo para quitarse la vida.
Character.AI prohíbe a los menores el uso de sus chatbots ante la creciente preocupación por los efectos de las conversaciones con inteligencia artificial (IA) en los niños.
La empresa afronta varias demandas por la seguridad infantil, incluida la de la madre de un adolescente que afirma que los chatbots de la compañía empujaron a su hijo a quitarse la vida.
Character Technologies afirmó que los usuarios menores de 18 años no podrán mantener conversaciones abiertas con sus personajes de chatbot y que el bot aplicará un límite de uso de dos horas antes del 25 de noviembre.
La empresa permite a los usuarios crear o interactuar con personajes personalizables de apariencia viva y humana para varias actividades, como jugar o hacer simulacros de entrevistas de trabajo.
Character.AI señaló que desplegará funciones de verificación de edad para identificar qué usuarios son menores de 18 años. Un número creciente de plataformas tecnológicas recurre a comprobaciones de edad para impedir que los niños accedan a herramientas que no son seguras para ellos.
Pero estos sistemas no son perfectos y muchos niños encuentran maneras de sortearlos. Los escaneos faciales, por ejemplo, no siempre distinguen si alguien tiene 17 o 18 años. Además, pedir a la gente que suba documentos de identidad oficiales plantea dudas de privacidad.
Character.AI añadió que trabaja en nuevas funciones para niños, como crear vídeos, historias y retransmisiones con personajes de IA, así como en la puesta en marcha de un laboratorio de seguridad de IA.
Meetali Jain, directora ejecutiva de Tech Justice Law Project, afirmó que la medida de Character.AI "aún deja muchos detalles en el aire".
"No han explicado cómo pondrán en práctica la verificación de edad, cómo garantizarán que sus métodos preserven la privacidad, ni han abordado el posible impacto psicológico de desactivar de forma repentina el acceso a los usuarios jóvenes, dadas las dependencias emocionales que se han creado", dijo Jain.
Además, estos cambios no abordan las características de diseño subyacentes que fomentan esas dependencias emocionales, no solo en los niños, sino también en las personas mayores de 18 años.
Más del 70% de los adolescentes ha utilizado compañeros de IA y la mitad los usa con regularidad, según un estudio reciente de Common Sense Media, un grupo que investiga y aboga por un uso sensato de las pantallas y los medios digitales.