El rápido aumento de las herramientas de IA en los últimos años ha creado y seguirá creando nuevas oportunidades para la creatividad, el aprendizaje y la conexión. Sin embargo, la tecnología también ha introducido nuevas dinámicas a los riesgos en línea existentes. Una nueva investigación muestra que, a medida que el número de personas que se encuentran con imágenes y videos de IA con contenido sexual en línea sigue creciendo, la conciencia sobre la ilegalidad de parte de este contenido sigue siendo un desafío.

Para entender mejor las actitudes y los comportamientos de los adolescentes y jóvenes adultos en todas las plataformas y servicios, Snap realiza y comparte una investigación anual que abarca a toda la industria, llamada nuestro Índice de Bienestar Digital.  (Snap encargó la investigación, pero esta, cubre las experiencias de la Generación Z en los espacios digitales en general, sin un enfoque específico en Snapchat).  Si bien estamos planeando publicar los resultados completos de nuestro estudio del Tercer Año en conjunto con el Día Internacional de Internet Segura en febrero de 2025, queremos tener una vista previa de algunos hallazgos clave sobre cómo los adolescentes, los jóvenes adultos e incluso los padres están participando y reaccionando al contenido sexual basado en la IA generativa. Lo estamos haciendo hoy, a la luz del enfoque global en la explotación y el abuso sexual infantil de esta semana, y en conjunto con nuestra participación en la Empowering Voices DC Summit, que se centró en abordar los daños asociados con el contenido sexual generado por la IA.

Por ejemplo, en nuestro estudio, que encuestó a 9007 adolescentes, jóvenes adultos y padres de adolescentes en 6 países ¹, el 24% dijo que había visto algún tipo de imagen o video generado por IA que era de naturaleza sexual. De los que afirmaron haber visto este tipo de contenido, solo el 2 % dijo que las imágenes eran de alguien menor de 18 años.

Es alentador que cuando las personas vieron este tipo de contenido, 9 de cada 10 tomaron alguna medida, que fue desde bloquear o eliminar el contenido (54 %) hasta hablar con amigos o familiares de confianza (52 %). Sin embargo, solo el 42 % dijo que denunció el contenido a la plataforma o el servicio donde lo vieron, o a una línea directa o línea de ayuda. Esta información, sigue a una tendencia aún mayor de menores tasas de denuncia, sobre problemas relacionados con la seguridad digital en general. Señalamos, en una publicación anterior, la importancia de contrarrestar las percepciones negativas de las denuncias, para que los jóvenes no normalicen la exposición a cierto contenido y conducta problemática en línea, ni equiparen la denuncia con ser un buchón. 

Aún más alarmante es que más del 40 % de los encuestados no tenían en claro la obligación legal de las plataformas o servicios de denunciar imágenes sexuales de menores, incluso si dichas imágenes están destinadas a ser bromas o memes. Y, si bien un número mayor ( al 70 %) reconoció que era ilegal usar la tecnología de IA para crear contenido sexual falso de una persona o para retener, ver o compartir imágenes sexuales de menores, estos hallazgos indican que hay un trabajo considerable por hacer, para garantizar que el público en general sea consciente de los requisitos legales relacionados con este tipo de contenido.

En los EE.UU., por ejemplo, casi el 40 % de los encuestados dijeron que creen que es legal usar la tecnología de IA para crear imágenes sexuales falsas de una persona. Y, de manera anecdótica, escuchamos de una tendencia preocupante de colegas de la industria: con la proliferación de este tipo de contenido, algunas chicas adolescentes en particular se sienten “excluidas” si no aparecen en imágenes sexuales manipuladas por IA que sus pares están creando y compartiendo inapropiadamente. Este punto perturbador subraya aún más la necesidad de educar y aumentar la conciencia sobre este riesgo en línea específico, con adultos y pares de confianza informados que jueguen un papel activo en desalentar este tipo de comportamiento.

Compromiso continuo de Snap

En Snap, estamos invirtiendo continuamente en recursos, herramientas y tecnología para ayudar a fomentar experiencias más seguras, más saludables y más positivas, en Snapchat y en todo el ecosistema tecnológico.

En algunos casos, usamos “señales” de comportamiento para identificar actividades potencialmente ilegales, poder eliminar proactivamente a las personas malintencionadas y denunciarlas a las autoridades. Además, como un servicio que incluye un chatbot de IA conversacional, nos esforzamos por estar más atentos para evitar la posible generación de dicho material en Snapchat, así como para proteger contra el intercambio y la distribución de material que pueda haberse generado en otras plataformas. Tratamos las imágenes sexuales de menores generadas por IA de la misma manera que las imágenes “auténticas” de explotación sexual infantil y abuso (CSEAI), eliminando el contenido una vez que nos damos cuenta de su existencia, suspendiendo a la cuenta infractora, y denunciándola al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). Esto se suma a aprovechar e implementar tecnología diseñada para evitar la propagación de CSEAI, incluido PhotoDNA (para detectar duplicados de imágenes ilegales conocidas) y CSAI Match de Google (para detectar duplicados de videos ilegales conocidos). También empezamos recientemente a usar la API de seguridad de contenido (para ayudarnos a detectar imágenes nuevas y que “nunca tuvieron hash”). Además, nos involucramos con el NCMEC para saber cómo aprovechar las firmas digitales únicas (o “hashes”) de las 4700 denuncias que recibieron el año pasado, relacionadas con material de abuso sexual infantil, que involucró a GenAI.

Colaboramos con las fuerzas de seguridad, apoyando sus investigaciones e invertimos mucho en nuestros equipos globales de Trust and Safety y Law Enforcement Operations que trabajan las 24 horas del día, los 7 días de la semana, para ayudar a mantener a nuestra comunidad segura. Organizamos cumbres anuales para las fuerzas de seguridad en los EE.UU. con el propósito de garantizar que los oficiales y las agencias sepan cómo tomar las medidas apropiadas contra cualquier actividad ilegal que pueda estar teniendo lugar en nuestra plataforma.

También continuamos expandiendo nuestras herramientas para realizar denuncias dentro de la app, que incluyen opciones para que nuestra comunidad señale contenido sexual y desnudez, y específicamente CSEAI. Informar sobre contenido y cuentas problemáticas es vital para ayudar a las empresas de tecnología a eliminar a las personas malintencionadas de sus servicios y frustrar futuras actividades antes de que puedan causar daño a los demás.

Más recientemente, agregamos nuevas funciones a nuestro conjunto de herramientas del Centro familiar, que los padres pueden usar para entender mejor cómo su hijo adolescente está usando Snapchat, incluido nuestro chatbot de IA. También lanzamos nuevos recursos para ayudar a los educadores y a los administradores de las escuelas a entender cómo sus estudiantes usan Snapchat y los recursos que ofrecemos para ayudar a las escuelas en sus esfuerzos por crear entornos seguros y de apoyo para los estudiantes.

Y seguimos invirtiendo en formas de aumentar la conciencia pública y de los Snapchatters sobre los daños sexuales en línea. Nuestros episodios de “Safety Snapshot” dentro de la aplicación se centran en los riesgos sexuales, incluidos temas como el grooming infantil en línea y la trata. También fuimos la primer entidad en apoyar a Know2Protect, una campaña del Departamento de Seguridad Nacional de los EE.UU. centrada en educar y empoderar a los jóvenes, los padres, los adultos de confianza y los legisladores sobre el abuso sexual infantil en línea.

Esperamos continuar trabajando con todos los tipos de partes interesadas (padres, jóvenes, educadores y legisladores, por nombrar algunos) sobre estos tipos de problemas de toda la sociedad, y esperamos que las opiniones de nuestra investigación multiplataforma, ayuden a crear nuevas ideas y oportunidades, para garantizar que las personas sean conscientes de las amenazas en línea, existentes y nuevas, y los recursos disponibles para ayudar a combatir estos riesgos.

— Viraj Doshi, Líder de Seguridad de la Plataforma