El rápido aumento de las herramientas de IA en los últimos años ha creado y continuará creando nuevas oportunidades para la creatividad, el aprendizaje y la conexión. Sin embargo, la tecnología también ha introducido nuevas dinámicas a los riesgos en línea existentes. Una nueva investigación muestra que a medida que el número de personas que se encuentran con imágenes y vídeos de IA cargados sexualmente en línea continúa creciendo, el reconocimiento de la ilegalidad de algunos de estos contenidos continúa siendo un reto.

Para obtener una mejor comprensión de las actitudes y comportamientos de adolescentes y adultos jóvenes en todas las plataformas y servicios, Snap lleva a cabo y comparte una investigación anual en toda la industria llamada nuestro Índice de Bienestar Digital.  (Snap encargó la investigación, pero cubre las experiencias de la Generación Z en espacios digitales en general, sin un enfoque específico en Snapchat).  Si bien estamos planeando publicar los resultados completos de nuestro estudio del Tercer Año junto con el Día Internacional de Internet Seguro en febrero de 2025, queremos obtener una vista previa de algunos resultados clave sobre cómo los adolescentes, los adultos jóvenes e incluso los padres se involucran y reaccionan al contenido sexual basado en la IA generativa y su reacción. Lo hacemos hoy, a la luz del enfoque global en la explotación y el abuso sexual infantil esta semana, y en conjunto con nuestra participación en la Cumbre DC Empowering Voices, que se centró en abordar los daños asociados al contenido sexual generado por la IA. 

Por ejemplo, en nuestro estudio, que encuestó a 9007 adolescentes, adultos jóvenes y padres de adolescentes en 6 países ¹, el 24% dijo que había visto algún tipo de imagen o vídeo generado por la IA que era de naturaleza sexual. De aquellos que afirmaron haber visto este tipo de contenido, solo el 2% dijo que las imágenes eran de alguien menor de 18 años.

Es alentador que cuando las personas vieron este tipo de contenido, 9 de cada 10 tomaron alguna acción, que iba desde bloquear o eliminar el contenido (54%) hasta hablar con amigos o familiares de confianza (52%). Sin embargo, solo el 42% dijo que denunció el contenido a la plataforma o servicio donde lo vio, o a una línea telefónica de ayuda. Esta información sigue una tendencia mayor de tasas de denuncias más bajas sobre problemas relacionados con la seguridad digital en general. Señalamos, en un post anterior, la importancia de contrarrestar las percepciones negativas de la denuncia para que los jóvenes no normalicen la exposición a cierto contenido y conducta problemáticos en línea, o equiparen la denuncia ser un soplón. 

Aún más alarmante es que más del 40% de los encuestados no tenían en claro la obligación legal de las plataformas/servicios de denunciar imágenes sexuales de menores, incluso si dichas imágenes están destinadas a bromas o memes. Y, aunque un número mayor (el 70%) reconoció que era ilegal utilizar la tecnología de la IA para crear contenido sexual falso de una persona o para retener, ver o compartir imágenes sexuales de menores, estos hallazgos indican que hay un trabajo considerable por hacer para garantizar que el público en general conozca los requisitos legales relacionados con este tipo de contenido.

En Estados Unidos, por ejemplo, casi el 40% de los encuestados dijeron que creen que es legal utilizar la tecnología de IA para crear imágenes sexuales falsas de una persona. Y, anecdóticamente, hemos escuchado una tendencia preocupante de colegas de la industria: con la proliferación de este tipo de contenido, algunas chicas adolescentes en particular se sienten "excluidas" si no aparecen en imágenes sexuales manipuladas por la IA que sus compañeros crean y comparten de forma inapropiada. Este punto inquietante subraya aún más la necesidad de educar y aumentar la conciencia de este riesgo específico en línea, con adultos de confianza y compañeros informados que jueguen un papel activo para desalentar este tipo de comportamiento.  

El compromiso permanente de Snap

En Snap, invertimos continuamente en recursos, herramientas y tecnología para ayudar a fomentar experiencias más seguras, saludables y positivas en Snapchat y en todo el ecosistema tecnológico.

En algunos casos, utilizamos "señales" de comportamiento para identificar actividad potencialmente ilegal para que podamos eliminar de forma proactiva a los malos actores y denunciarlos a las autoridades. Además, como servicio que incluye un chatbot de IA conversacional, nos esforzamos por estar más atentos para prevenir la posible generación de dicho material en Snapchat, así como para evitar que se comparta y distribuya material que pueda haberse generado en otras plataformas. Tratamos las imágenes sexuales de menores generadas por la IA como las imágenes de explotación y abuso sexual infantil "auténticas" (CSEAI), eliminando el contenido una vez que nos damos cuenta de ello, suspendiendo la cuenta infractora, y denunciándola al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). Esto se suma a aprovechar e implementar tecnología diseñada para prevenir la propagación de CSEAI, incluido PhotoDNA (para detectar duplicados de imágenes ilegales conocidas) y CSAI Match de Google (para detectar duplicados de vídeos ilegales conocidos). También comenzamos recientemente a utilizar la Content Safety API de Google (para ayudar a detectar imágenes nuevas y "nunca antes analizadas con hash" en el contenido público). También nos hemos comprometido con NCMEC sobre cómo aprovechar las firmas digitales únicas (o "hashes") de los 4700 denuncias que recibieron el año pasado relacionadas con material de abuso sexual infantil que involucró GenAI. 

Colaboramos con las fuerzas del orden, apoyando sus investigaciones e invertimos fuertemente en nuestros equipos de Operaciones de Confianza y Seguridad y Aplicación de la Ley que trabajan las 24 horas del día, los 7 días de la semana para ayudar a mantener segura a nuestra comunidad. Organizamos cumbres anuales para las fuerzas de seguridad en Estados Unidos con el propósito de garantizar que los oficiales y las agencias sepan cómo tomar las acciones adecuadas contra cualquier actividad ilegal que pueda estar teniendo lugar en nuestra plataforma. 

También continuamos ampliando nuestras herramientas de informes en la aplicación, que incluyen opciones para que nuestra comunidad señale contenido de desnudez y sexual, y específicamente CSEAI. Denunciar contenidos y cuentas problemáticos es vital para ayudar a las empresas tecnológicas a eliminar a los malhechores de sus servicios y frenar nuevas actividades antes de que puedan causar daño a terceros. 

Más recientemente, añadimos nuevas funciones a nuestro Centro de familia conjunto de herramientas, que los padres pueden utilizar para comprender mejor cómo su hijo adolescente utiliza Snapchat, incluido nuestro chatbot de IA. También lanzamos nuevos recursos para ayudar a los educadores y administradores escolares a comprender cómo sus estudiantes utilizan Snapchat y los recursos que ofrecemos a las escuelas en sus esfuerzos por crear entornos seguros y de apoyo para los estudiantes.

Y, continuamos invirtiendo en formas de aumentar el reconocimiento público y de los Snapfans sobre los daños sexuales en línea. Nuestros episodios de "Safety Snapshot" en la aplicación se centran en riesgos sexuales, incluidos temas como el grooming en línea y el tráfico infantil. También fuimos la primera entidad en apoyar Know2Protect, una campaña del Departamento de Seguridad Nacional de Estados Unidos centrada en educar y empoderar a jóvenes, padres, adultos de confianza y responsables políticos sobre el abuso sexual infantil en línea. 

Esperamos continuar trabajando con todos los tipos de partes interesadas (padres, jóvenes, educadores y responsables políticos por nombrar algunos) sobre este tipo de problemas de la sociedad completa, y esperamos que los conocimientos de nuestra investigación multiplataforma ayuden a crear nuevas ideas y oportunidades para garantizar que las personas conozcan las amenazas en línea existentes y nuevas, y los recursos disponibles para ayudar a combatir estos riesgos. 

— Viraj Doshi, Líder de Seguridad de la Plataforma