Den snabba ökningen av AI-verktyg under de senaste åren har och kommer att fortsätta att skapa nya möjligheter för kreativitet, lärande och anslutning. Tekniken har dock också introducerat ny dynamik för befintliga onlinerisker. Ny forskning visar att när antalet personer som stöter på sexuellt laddade AI-bilder och videor online fortsätter att växa så är medvetenheten om att en del av detta innehåll är olagligt fortfarande en utmaning.

För att få en bättre förståelse för tonåringars och unga vuxnas attityder och beteenden på alla plattformar och tjänster bedriver och delar Snap årlig branschomfattande forskning som kallas vårt Digital Well-Being Index.  (Snap beställde forskningen men den täcker Generation Z:s upplevelser på digitala utrymmen i allmänhet, med inget specifikt fokus på Snapchat.)  Även om vi planerar att släppa de fullständiga resultaten av vår studie år tre i samband med den internationella Safer Internet Day i februari 2025 vill vi förhandsgranska några viktiga resultat om hur tonåringar, unga vuxna och till och med föräldrar engagerar sig i och reagerar på generativt AI-baserat sexuellt innehåll. Vi gör det idag, mot bakgrund av det globala fokuset på sexuellt utnyttjande och övergrepp mot barn denna vecka och i samband med vårt deltagande i Empowering Voices DC Summit, som fokuserade på att ta itu med skadorna i samband med AI-genererat sexuellt innehåll. 

I vår studie, som till exempel undersökte 9 007 tonåringar, unga vuxna och föräldrar till tonåringar i 6 länder ¹, sa 24 % att de hade sett någon form av AI-genererade bilder eller videor som var sexuella till sin natur. Av de som påstod sig ha sett denna typ av innehåll sa endast 2 % att bilderna var av någon som var under 18 år.

Vad som var uppmuntrande var att när människor såg denna typ av innehåll vidtog 9 av 10 åtgärder som sträckte sig från att blockera eller ta bort innehållet (54 %) till att tala med betrodda vänner eller familj (52 %). Däremot var det endast 42 % som sa att de rapporterade innehållet till plattformen eller tjänsten där de såg det, eller till en hotline/hjälplinje. Denna insikt följer en större trend med lägre rapporteringsfrekvens för digitala säkerhetsrelaterade problem i allmänhet. Vi påpekade i ett tidigare inlägg vikten av att motverka negativa uppfattningar om att rapportera så att unga människor inte normaliserar exponering för visst problematiskt innehåll och uppförande online, eller likställer rapportering med skvaller. 

Ännu mer alarmerande är att mer än 40 % av de svarande var oklara om den juridiska skyldigheten för plattformar/tjänster att rapportera sexuella bilder av minderåriga, även om sådana bilder är avsedda som skämt eller memes. Och medan ett större antal (70 %+) insåg att det var olagligt att använda AI-teknik för att skapa falskt sexuellt innehåll av en person, eller för att behålla, visa eller dela sexuella bilder av minderåriga, visar dessa resultat att det finns ett betydande arbete att göra för att säkerställa att allmänheten är medveten om de juridiska kraven som är relaterade till denna typ av innehåll.

I USA sa till exempel nästan 40 % av de svarande att de tror att det är lagligt att använda AI-teknik för att skapa falska sexuella bilder av en person. Och anekdotiskt har vi hört talas om en oroande trend från branschkollegor: med spridningen av denna typ av innehåll känner sig särskilt vissa tonåringsflickor "utelämnade" om de inte är med i AI-manipulerade sexuella bilder som deras kamrater olämpligt skapar och delar. Denna störande punkt understryker ytterligare behovet av att utbilda och öka medvetenheten om denna specifika onlinerisk, med betrodda vuxna och informerade kamrater som spelar en aktiv roll för att avskräcka denna typ av beteende.  

Snaps pågående åtagande

På Snap investerar vi kontinuerligt i resurser, verktyg och teknik för att hjälpa till att främja säkrare, hälsosammare och mer positiva upplevelser på Snapchat och över det tekniska ekosystemet.

I vissa fall använder vi beteendemässiga "signaler" för att identifiera potentiellt olaglig aktivitet så att vi proaktivt kan ta bort dåliga aktörer och rapportera dem till myndigheter. Dessutom, som en tjänst som inkluderar en konversationsbaserad AI-chattbot är vi extra vaksamma för att förhindra potentiell generering av sådant material på Snapchat, samt att skydda mot delning och distribution av material som kan ha genererats på andra plattformar. Vi behandlar misstänkta AI-genererade sexuella bilder av minderåriga på samma sätt som "autentiska" sexuella bilder för barn (CSEAI), och tar bort innehållet när vi blir medvetna om det, och stänger av det kränkande kontot, och rapporterar den till National Center for Missing and Exploited Children (NCMEC). Detta är utöver att utnyttja och distribuera teknik som är utformad för att förhindra spridning av CSEAI, inklusive PhotoDNA (för att upptäcka dubbletter av kända olagliga bilder) och Googles CSAI Match (för att upptäcka dubbletter av kända olagliga videor). Vi började också nyligen använda Googles Content Safety API (för att hjälpa till att upptäcka nya, "aldrig-innan-hashade"-bilder på offentligt innehåll). Vi har också engagerat oss med NCMEC om hur man utnyttjar de unika digitala signaturerna (eller "hashes") av de 4 700 rapporterna som de fick förra året relaterade till sexuella övergrepp mot barn som involverade GenAI. 

Vi samarbetar med brottsbekämpande myndigheter, stöder deras utredningar och investerar kraftigt i våra globala team för förtroende- och säkerhetsverksamhet och brottsbekämpande verksamhet som arbetar dygnet runt för att hjälpa till att hålla vår community säker. Vi är värd för årliga toppmöten för brottsbekämpande myndigheter i USA för att säkerställa att tjänstemän och myndigheter vet hur man vidtar lämpliga åtgärder mot all olaglig aktivitet som kan äga rum på vår plattform. 

Vi fortsätter också att utöka våra rapporteringsverktyg i appen, som inkluderar alternativ för vår community att flagga nakenhet och sexuellt innehåll, och specifikt CSEAI. Att anmäla problematiskt innehåll och konton är oerhört viktigt för att hjälpa teknikföretag att ta bort dåliga aktörer från sina tjänster och förhindra ytterligare aktivitet innan det potentiellt orsakar skada för andra. 

Mer nyligen har vi lagt till nya funktioner till vår Family Center-svit med verktyg, som föräldrar kan använda för att bättre förstå hur deras tonåring använder Snapchat, inklusive vår AI-chattbot. Vi släppte också nya resurser för att hjälpa lärare och skoladministratörer att förstå hur deras elever använder Snapchat och de resurser vi erbjuder för att assistera skolor i deras ansträngningar att skapa säkra och stödjande miljöer för studenter.

Och vi fortsätter att investera i sätt att öka allmänhetens och Snapchattares medvetenhet om sexuella skador online. Våra "Safety Snapshot"-episoder i appen fokuserar på sexuella risker, inklusive ämnen som gromning av barn online och människohandel. Vi var också det första företaget som stödde Know2Protect, en kampanj från USA:s departement för hemlandssäkerhet som fokuserade på att utbilda och stärka unga människor, föräldrar, betrodda vuxna och beslutsfattare om sexuella övergrepp mot barn online. 

Vi ser fram emot att fortsätta att arbeta med alla typer av intressenter – föräldrar, unga människor, lärare och beslutsfattare för att nämna några – om dessa typer av samhällsproblem och hoppas att insikterna från vår plattformsforskning hjälper till att skapa nya idéer och möjligheter för att säkerställa att människor är medvetna om befintliga och nya online-hot och de resurser som finns tillgängliga för att hjälpa till att bekämpa dessa risker. 

- Viraj Doshi, Plattformssäkerhetsledning