La montée en puissance rapide des outils d'IA au cours des dernières années a et va continuer à créer de nouvelles opportunités de créativité, d'apprentissage et de connexion Toutefois, la technologie a également introduit une nouvelle dynamique aux risques en ligne existants. Une nouvelle étude montre qu'à mesure que le nombre de personnes qui rencontrent des images et des vidéos en ligne sur l'IA à charge sexuelle ne cesse de croître, la sensibilisation à l'illégalité de certains contenus de ce type reste un challenge.

Pour mieux comprendre les attitudes et les comportements des adolescents et des jeunes adultes sur toutes les plateformes et services, Snap mène et partage une étude annuelle à l'échelle du secteur appelée notre indice de bien-être numérique.  (Snap a commandé l'étude, mais elle couvre les expériences de la génération Z dans les espaces numériques en général, sans mettre l'accent spécifiquement sur Snapchat.)  Bien que nous prévoyions de publier les résultats complets de notre troisième année en relation avec la Journée internationale pour un Internet plus sûr en février 2025, nous souhaitons présenter en avant-première quelques conclusions clés sur la façon dont les adolescents, les jeunes adultes et même les parents s'engagent et réagissent au contenu sexuel basé sur l'IA générative et y réagissent. Nous le faisons aujourd'hui, à la lumière de l'accent mis cette semaine sur l'exploitation et les abus sexuels des enfants, et en relation avec notre participation au Empowering Voices DC Summit, qui a porté sur la résolution des préjudices associés au contenu sexuel généré par l'IA. 

Par exemple, dans notre étude, qui a interrogé 9 007 adolescents, jeunes adultes et parents d'adolescents dans 6 pays ¹, 24 % ont déclaré avoir vu une sorte d'images ou de vidéos générées par l'IA qui étaient de nature sexuelle. Parmi les personnes qui ont affirmé avoir vu ce type de contenu, seuls 2 % ont déclaré que les images provenaient d'une personne âgée de moins de 18 ans.

Il est encourageant de constater que lorsque les gens ont vu ce type de contenu, 9 sur 10 ont pris des mesures, allant du blocage ou de la suppression du contenu (54 %) à la discussion avec des amis ou des membres de la famille de confiance (52 %). Toutefois, seuls 42 % ont déclaré avoir signalé le contenu à la plateforme ou au service où ils l'ont vu, ou à une hotline / ligne d'assistance. Cette information suit une tendance plus large de taux de signalement plus bas sur les questions liées à la sécurité numérique en général. Nous avons souligné, dans un précédent article, l'importance de neutraliser les perceptions négatives de signaler afin que les jeunes ne normalisent pas l'exposition à certains contenus et comportements en ligne problématiques, ou n'assimilent le signalement à la dénonciation. 

Plus alarmant encore, plus de 40 % des personnes interrogées ne savaient pas comment les plateformes/services doivent signaler les images sexuelles de mineurs, même si ces images sont destinées à être des blagues ou des mèmes. En outre, bien qu'un nombre plus important (70 %+) ait pu dire qu'il était illégal d'utiliser la technologie de l'IA pour créer de faux contenu sexuel d'une personne, ou pour garder, visualiser ou partager des images sexuelles de mineurs, ces résultats indiquent qu'il y a beaucoup de travail à faire pour s'assurer que le public est informé des exigences légales relatives à ce type de contenu.

Aux États-Unis, par exemple, près de 40 % des personnes interrogées ont déclaré qu'il était légal d'utiliser la technologie de l'IA pour créer de fausses images sexuelles d'une personne. Et, de manière anecdotique, nous avons entendu parler d'une tendance inquiétante de la part de collègues de l'industrie : avec la prolifération de ce type de contenu, certaines adolescentes se sentent notamment « exclues » si elles ne sont pas présentées dans les images sexuelles manipulées par l'IA que leurs pairs créent et partagent de manière inappropriée. Ce point troublant souligne en outre la nécessité d'éduquer et de sensibiliser à ce risque spécifique en ligne, avec des adultes et des pairs informés de confiance jouant un rôle actif dans la lutte contre ce type de comportement.  

L'engagement permanent de Snap

Chez Snap, nous investissons continuellement dans des ressources, des outils et une technologie pour favoriser des expériences plus sûres, plus saines et plus positives sur Snapchat et dans l'écosystème technologique.

Dans certains cas, nous utilisons des « signaux » comportementaux pour identifier les activités potentiellement illégales afin que nous puissions supprimer de manière proactive les personnes malveillantes et les signaler aux autorités. En outre, en tant que service qui inclut un chatbot interactif sur l'IA, nous prenons des efforts pour être plus vigilants en empêchant la génération potentielle de ce matériel sur Snapchat, ainsi que pour nous protéger du partage et de la distribution du matériel qui a pu être généré sur d'autres plateformes. Nous traitons les images sexuelles de mineurs générées par l'IA comme des images « authentiques » d'exploitation et d'abus sexuels d'enfants (CSEAI), en supprimant le contenu une fois que nous en avons connaissance, en suspendant le compte en infraction, et en le signalant au Centre national pour les enfants disparus et exploités (NCMEC). Cela s'ajoute à l'exploitation et au déploiement d'une technologie conçue pour prévenir la propagation du CSEAI, y compris PhotoDNA (pour détecter les doublons d'images illégales contenues) et le CSAI Match de Google (pour détecter les doublons de vidéos illégales contenues). Nous avons également récemment commencé à utiliser l'API de sécurité du contenu de Google (pour aider à détecter les images nouvelles, « jamais hachées » sur le contenu public Nous nous collaborons également avec le NCMEC sur la façon de tirer parti des signatures numériques uniques (ou « hashes ») des 4 700 rapports qu'ils ont reçus l'année dernière et relatifs au matériel sur les abus sexuels sur les enfants qui a impliqué GenAI. 

Nous collaborons avec les forces de l'ordre, soutenant leurs enquêtes et investissons massivement dans nos équipes mondiales de confiance et de sécurité et d'opérations d'application de la loi qui travaillent 24h/24 et 7j/7 pour assurer la sécurité de notre communauté. Nous organisons des sommets annuels pour les forces de l'ordre aux États-Unis afin de nous assurer que les agents et les agences savent comment prendre les mesures appropriées contre toute activité illégale pouvant être menée sur notre plateforme. 

Nous poursuivons également l'extension de nos outils de signalement intégrés à l'application, qui incluent des options permettant à notre communauté de signaler le contenu nudité et sexuel, et spécifiquement le CSEAI. Le signalement des contenus et des comptes litigieux est d'une importance capitale pour aider les entreprises technologiques à bannir les mauvais acteurs et à empêcher d'autres activités avant qu'elles ne causent un préjudice à autrui.    

Plus récemment, nous avons ajouté de nouvelles fonctionnalités à notre suite d'outils du Centre familial, que les parents peuvent utiliser pour mieux comprendre comment leur adolescent utilise Snapchat, y compris notre chatbot IA. Nous avons également publié de nouvelles ressources pour aider les enseignants et les administrateurs d'écoles à comprendre comment leurs élèves utilisent Snapchat et les ressources que nous offrons pour aider les écoles à créer des environnements sûrs et stimulants pour les élèves.

En outre, nous poursuivons nos investissements dans des moyens de sensibiliser le public et les Snapchatters aux préjudices sexuels en ligne. Nos épisodes « Snapshot de sécurité » intégrés à l'application sont axés sur les risques sexuels, y compris des sujets tels que la prédation sexuelle et le trafic d'enfants en ligne. Nous avons également été la première entité à soutenir Know2Protect, une campagne du département de la sécurité intérieure des États-Unis axée sur l'éducation et l'autonomisation des jeunes, des parents, des adultes de confiance et des décideurs politiques sur les abus sexuels en ligne sur les enfants. 

Nous nous réjouissons de poursuivre notre travail avec tous les types de parties prenantes - les parents, les jeunes, les éducateurs et les décideurs politiques, pour n'en nommer que quelques-uns, sur ces types de problèmes touchant l'ensemble de la société, et nous espérons que les informations issues de notre recherche multiplateforme aideront à créer de nouvelles idées et opportunités pour nous assurer que les gens sont sensibilisés aux menaces en ligne, existantes et nouvelles, ainsi qu'aux ressources disponibles pour aider à combattre ces risques. 

- Viraj Doshi, responsable de la sécurité de la plateforme