El rápido auge de las herramientas de IA en los últimos años ha creado y seguirá creando nuevas oportunidades de creatividad, aprendizaje y conexión. Sin embargo, la tecnología también ha introducido una nueva dinámica en los riesgos en línea existentes. Un nuevo estudio muestra que, a medida que aumenta el número de personas que se encuentran en internet con imágenes y videos de contenido sexual, la concientización sobre la ilegalidad de algunos de estos contenidos sigue siendo un reto.

Para comprender mejor las actitudes y los comportamientos de los adolescentes y los adultos jóvenes en todas las plataformas y servicios, Snap lleva a cabo y comparte un estudio anual de todo el sector, denominado Índice de bienestar digital.  (Snap encargó la investigación, pero abarca las experiencias de la Generación Z en los espacios digitales en general, sin centrarse especificamente en Snapchat.)  Aunque tenemos previsto publicar los resultados completos de nuestro estudio del tercer año junto con el Día Internacional de la Internet Segura en febrero de 2025, queremos adelantar algunas conclusiones clave sobre cómo los adolescentes, los adultos jóvenes e incluso los padres se involucran y reaccionan ante los contenidos sexuales basados en IA generativa. Lo hacemos hoy, a la luz de la atención mundial prestada esta semana a la explotación y el abuso sexual infantil, y en conjunción con nuestra participación en la Cumbre Empowering Voices DC, que se centró en abordar los daños asociados a los contenidos sexuales generados por IA. 

Por ejemplo, en nuestro estudio, en el que se encuestó a 9007 adolescentes, adultos jóvenes y padres de adolescentes en 6 países ¹, el 24% afirma haber visto algún tipo de imágenes o videos de naturaleza sexual generados por IA. De los que afirmaron haber visto este tipo de contenido, solo el 2% dijo que las imágenes eran de alguien menor de 18 años.

Resulta alentador que, al ver este tipo de contenidos, 9 de cada 10 personas tomaran alguna medida, desde bloquearlos o eliminarlos (54%) hasta hablar con amigos o familiares de confianza (52%). Sin embargo, solo el 42% declaró haber denunciado el contenido a la plataforma o servicio donde lo vio, o a una línea directa o de ayuda. Este dato sigue una tendencia más amplia de reducción de los índices de notificación de problemas relacionados con la seguridad digital en general. Ya señalamos en un post anterior la importancia de contrarrestar las percepciones negativas de la denuncia para que los jóvenes no normalicen la exposición a determinados contenidos y conductas problemáticos en línea, ni equiparen la denuncia con "delatar".

Aún más alarmante es que más del 40% de los encuestados no tenían claro cuál es la obligación legal de las plataformas/servicios de denunciar las imágenes sexuales de menores, incluso si dichas imágenes están pensadas como bromas o memes. Y, aunque un número mayor (más del 70%) reconoció que era ilegal utilizar tecnología de IA para crear contenido sexual falso de una persona, o para conservar, ver o compartir imágenes sexuales de menores, estos resultados indican que queda mucho trabajo por hacer para garantizar que el público en general conozca los requisitos legales relacionados con este tipo de contenido.

En Estados Unidos, por ejemplo, casi el 40% de los encuestados cree que es legal utilizar tecnología de IA para crear imágenes sexuales falsas de una persona. Y, anecdóticamente, hemos oído una tendencia preocupante de colegas del sector: con la proliferación de este tipo de contenidos, algunas adolescentes en particular se sienten "excluidas" si no aparecen en las imágenes sexuales manipuladas por la IA que sus compañeros crean y comparten de forma inapropiada. Este preocupante dato subraya aún más la necesidad de educar y concientizar sobre este riesgo específico en línea, con adultos de confianza y compañeros informados que desempeñen un papel activo para desalentar este tipo de comportamiento.  

Compromiso continuo de Snap

En Snap, invertimos continuamente en recursos, herramientas y tecnología para ayudar a fomentar experiencias más seguras, saludables y positivas en Snapchat y en todo el ecosistema tecnológico.

En algunos casos, utilizamos "señales" de comportamiento para identificar actividades potencialmente ilegales, de modo que podamos eliminar proactivamente a los usuarios malintencionados y denunciarlos a las autoridades. Además, como servicio que incluye un chatbot conversacional de IA, nos esforzamos por extremar la vigilancia para evitar la posible generación de este tipo de material en Snapchat, así como para evitar que se comparta y distribuya material que pueda haberse generado en otras plataformas. Tratamos las presuntas imágenes sexuales de menores generadas por IA del mismo modo que las imágenes "auténticas" de explotación y abuso sexual infantil (CSEAI), eliminando el contenido en cuanto tenemos conocimiento de él y suspendiendo la cuenta infractora, y denunciándolo al Centro Nacional para Menores Desaparecidos y Explotados (NCMEC). Esto se suma al aprovechamiento y despliegue de tecnología diseñado para evitar la propagación de imágenes de abuso sexual infantil, como PhotoDNA (para detectar duplicados de imágenes ilegales conocidas) y CSAI Match de Google (para detectar duplicados de videos ilegales conocidos). También hemos empezado a utilizar recientemente la API de seguridad de contenidos de Google (para ayudar a detectar imágenes novedosas y "nunca antes vistas" en contenidos públicos). También hemos colaborado com el NCMEC sobre cómo aprovechar las firmas digitales únicas (o "hashes") de las 4700 denuncias que recibieron el año pasado relacionadas con material de abusos sexuales a menores en las que intervino una IA generativa.

Colaboramos con las fuerzas de seguridad, apoyando sus investigaciones, e invertimos mucho en nuestros equipos globales de Operaciones de Confianza y Seguridad y de Cumplimiento de la Ley, que trabajan 24 horas al día, 7 días a la semana, para ayudar a mantener la seguridad de nuestra comunidad. Organizamos cumbres anuales para las fuerzas del orden en Estados Unidos, con el objetivo de garantizar que los agentes y organismos sepan cómo actuar adecuadamente contra cualquier actividad ilegal que pueda estar teniendo lugar en nuestra plataforma.

También seguimos ampliando nuestras herramientas de denuncia dentro de la aplicación, que incluyen opciones para que nuestra comunidad pueda marcar contenido sexual y de desnudez, y específicamente de abuso sexual infantil. Denunciar los contenidos y las cuentas problemáticas es fundamental para ayudar a las empresas tecnológicas a eliminar a los usuarios malintencionados de sus servicios y frustrar nuevas actividades antes de que puedan causar daño a otras personas.

Más recientemente, hemos añadido nuevas funciones a nuestro conjunto de herramientas del Centro de familia, que los padres pueden utilizar para comprender mejor cómo utilizan Snapchat sus hijos adolescentes, incluido nuestro chatbot de inteligencia artificial. También lanzamos nuevos recursos para ayudar a los educadores y administradores escolares a entender cómo sus estudiantes usan Snapchat y los recursos que ofrecemos para ayudar a las escuelas en sus esfuerzos por crear entornos seguros y de apoyo para los estudiantes.

Y seguimos invirtiendo en formas de sensibilizar a la opinión pública y a los Snapchatters sobre los daños sexuales en línea. Nuestros episodios de "Safety Snapshot" dentro de la aplicación se centran en los riesgos sexuales, incluidos temas como la captación y la trata de menores en línea. También fuimos la primera entidad en apoyar Know2Protect, una campaña del Departamento de Seguridad Nacional de Estados Unidos centrada en educar y capacitar a jóvenes, padres, adultos de confianza y responsables políticos sobre el abuso sexual infantil en internet.

Esperamos seguir trabajando con todo tipo de interesados -padres, jóvenes, educadores y responsables políticos, por nombrar algunos- en este tipo de cuestiones que afectan a toda la sociedad, y confiamos en que los resultados de nuestra investigación multiplataforma ayuden a crear nuevas ideas y oportunidades para garantizar que la gente sea consciente de las amenazas en línea existentes y de las nuevas, así como de los recursos disponibles para ayudar a combatir estos riesgos.

--- Viraj Doshi, Jefe de seguridad de la plataforma