El rápido aumento de las herramientas de IA en los últimos años ha creado y continuará creando nuevas oportunidades para la creatividad, el aprendizaje y la conexión. Sin embargo, la tecnología también ha introducido nuevas dinámicas a los riesgos en línea existentes. Una nueva investigación muestra que, a medida que el número de personas que se encuentran con imágenes y videos de IA cargados sexualmente en línea continúa creciendo, el reconocimiento de la ilegalidad de parte de este contenido sigue siendo un desafío.

Para comprender mejor los intereses y comportamientos de los adolescentes y adultos jóvenes en todas las plataformas y servicios, Snap lleva a cabo y comparte una investigación anual en toda la industria llamada nuestro Índice de bienestar digital.  (Snap encargó la investigación, pero cubre las experiencias de la Generación Z en espacios digitales en general, sin un enfoque específico en Snapchat.)  Aunque estamos planeando publicar los resultados completos de nuestro estudio del tercer año junto con el Día internacional de Internet más segura en febrero de 2025, queremos obtener una vista previa de algunos hallazgos clave sobre cómo los adolescentes, adultos jóvenes e incluso los padres están participando y reaccionando al contenido sexual generativo basado en IA. Lo hacemos hoy, a la luz del enfoque global en la explotación y el abuso sexual infantil esta semana, y junto con nuestra participación en la Cumbre DC de Empowering Voices, que se centró en abordar los daños asociados con el contenido sexual generado por IA. 

Por ejemplo, en nuestro estudio, que encuestó a 9,007 adolescentes, adultos jóvenes y padres de adolescentes en 6 países ¹, el 24 % dijo que había visto algún tipo de imágenes o videos generados por IA que eran de naturaleza sexual. De los que afirmaron haber visto este tipo de contenido, solo el 2 % dijo que las imágenes eran de alguien menor de 18 años.

Es alentador que cuando las personas vieron este tipo de contenido, 9 de cada 10 tomaron alguna acción, que iba desde bloquear o eliminar el contenido (54 %) hasta hablar con amigos o familiares de confianza (52 %). Sin embargo, solo el 42 % dijo que reportó el contenido a la plataforma o servicio donde lo vio, o a una línea directa / línea de ayuda. Esta información sigue una tendencia más amplia de tasas de denuncias más bajas sobre cuestiones relacionadas con la seguridad digital en general. Señalamos, en una publicación anterior, la importancia de contrarrestar las percepciones negativas de las denuncias para que los jóvenes no normalicen la exposición a cierto contenido y conducta problemática en línea, o equiparen las denuncias con chismes. 

Aún más alarmante es que más del 40 % de los encuestados no tuvieron clara la obligación legal de que las plataformas/servicios reporten imágenes sexuales de menores, incluso si dichas imágenes están destinadas a ser chistes o memes. Y, aunque un número mayor (70 %+) reconoció que era ilegal usar tecnología de IA para crear contenido sexual falso de una persona o para conservar, ver o compartir imágenes sexuales de menores, estos hallazgos indican que hay un trabajo considerable por hacer para garantizar que el público en general esté consciente de los requisitos legales relacionados con este tipo de contenido.

En los Estados Unidos, por ejemplo, casi el 40 % de los encuestados dijeron que creen que es legal usar tecnología de IA para crear imágenes sexuales falsas de una persona. Y, como anécdota, hemos escuchado una tendencia preocupante de colegas de la industria: con la proliferación de este tipo de contenido, algunas adolescentes en particular se sienten "excluidas" si no se muestran en imágenes sexuales manipuladas por IA que sus pares están creando y compartiendo inapropiadamente. Este punto perturbador subraya aún más la necesidad de educar y aumentar el reconocimiento de este riesgo específico en línea, con adultos de confianza y compañeros informados que juegan un papel activo para desalentar este tipo de comportamiento.  

Compromiso continuo de Snap

En Snap, estamos invirtiendo continuamente en recursos, herramientas y tecnología para ayudar a fomentar experiencias más seguras, más saludables y más positivas en Snapchat y en todo el ecosistema tecnológico.

En algunos casos, usamos "señales" de comportamiento para identificar actividad potencialmente ilegal para que podamos eliminar proactivamente a los delincuentes y denunciarlos a las autoridades. Además, como servicio que incluye un chatbot de IA conversacional, nos esforzamos por estar más atentos para prevenir la posible generación de dicho material en Snapchat, así como para protegernos contra el intercambio y la distribución de material que pueda haberse generado en otras plataformas. Tratamos las imágenes sexuales generadas por IA de menores de la misma manera que las imágenes de explotación y abuso sexual infantil "auténticas" (CSEAI), eliminando el contenido una vez que nos damos cuenta de ello, suspendiendo la cuenta infractora, y denunciarlo al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). Esto se suma a aprovechar e implementar tecnología diseñada para prevenir la propagación de CSEAI, incluido PhotoDNA (para detectar duplicados de imágenes ilegales conocidas) y CSAI Match de Google (para detectar duplicados de videos ilegales conocidos). También comenzamos a usar la API de seguridad de contenido de Google (para ayudar a detectar imágenes nuevas y "nunca antes hashed" en contenido público). También hemos hablado con el NCMEC sobre cómo aprovechar las firmas digitales únicas (o "hashes") de las 4,700 denuncias que recibieron el año pasado en relación con material de abuso sexual infantil que involucró a GenAI. 

Nosotros colaboramos con las fuerzas de seguridad, apoyando sus investigaciones e invertimos fuertemente en nuestros equipos globales de Confianza y seguridad y Operaciones de aplicación de la ley que trabajan las 24 horas del día, los 7 días de la semana para ayudar a mantener a nuestra comunidad segura. Organizamos cumbres anuales para las fuerzas de seguridad en los Estados Unidos con el objetivo de garantizar que los agentes y organismos sepan cómo tomar una acción adecuada contra cualquier actividad ilegal que pueda ocurrir en nuestra plataforma. 

También continuamos ampliando nuestras herramientas de informes en la aplicación, que incluyen opciones para que nuestra comunidad marque contenido de nudez y sexual, y específicamente CSEAI. Denunciar contenido y cuentas conflictivas es de vital importancia para ayudar a las empresas de tecnología a eliminar a los malhechores de sus servicios y frustrar nuevas actividades antes de que puedan dañar a los demás.

Más recientemente, agregamos nuevas funciones a nuestro conjunto de herramientas del Centro familiar, que los padres pueden usar para comprender mejor cómo su adolescente está usando Snapchat incluido nuestro chatbot de IA. También lanzamos nuevos recursos para ayudar a los educadores y administradores de escuelas a comprender cómo sus estudiantes usan Snapchat y los recursos que ofrecemos para ayudar a las escuelas en sus esfuerzos por crear entornos seguros y de apoyo para los estudiantes.

Y, seguimos invirtiendo en formas de aumentar el reconocimiento público y de los Snapchatter sobre los daños sexuales en línea. Nuestros episodios de "Snapshot Seguro" en la aplicación se centran en riesgos sexuales, incluidos temas como el acoso infantil en línea y la trata de menores. También fuimos los primeros en apoyar Know2Protect, una campaña del Departamento de Seguridad Nacional de los Estados Unidos centrada en educar y empoderar a los jóvenes, los padres, los adultos de confianza y los responsables de formular políticas sobre el abuso sexual infantil en línea. 

Esperamos continuar trabajando con todos los tipos de partes interesadas (padres, jóvenes, educadores y responsables de formular políticas, por nombrar algunos) sobre este tipo de cuestiones que afectan a toda la sociedad, y esperamos que las ideas de nuestra investigación entre plataformas ayuden a crear nuevas ideas y oportunidades para garantizar que las personas estén al tanto de las amenazas en línea existentes y nuevas, y los recursos disponibles para ayudar a combatir estos riesgos. 

- Viraj Doshi, líder de seguridad de la plataforma