Den hastige stigning i AI-værktøjer i de seneste år har skabt og vil fortsat skabe nye muligheder for kreativitet, læring og forbindelse. Teknologien har dog også introduceret nye dynamikker til eksisterende online risici. Ny forskning viser, at mens antallet af mennesker, der støder på seksuelt ladede AI-billeder og -videoer online, fortsætter med at vokse, er bevidstheden om ulovligheden af noget af dette indhold fortsat en udfordring.

For at få en bedre forståelse af holdninger og adfærd blandt teenagere og unge voksne på tværs af alle platforme og tjenester gennemfører Snap årlige undersøgelser og deler dem under navnet Digital Well-Being Index.  (Snap bestilte undersøgelsen, men den dækker Generation Z's oplevelser på tværs af digitale rum generelt, uden specifikt fokus på Snapchat.)  Mens vi planlægger at offentliggøre de fulde resultater af vores Year Three-undersøgelse i forbindelse med den internationale Safer Internet Day i februar 2025, vil vi gerne vise nogle af de vigtigste resultater om, hvordan teenagere, unge voksne og endda forældre engagerer sig i og reagerer på generativt AI-baseret seksuelt indhold. Det gør vi i dag i lyset af det globale fokus på seksuel udnyttelse og misbrug af børn i denne uge og i forbindelse med vores deltagelse i Empowering Voices DC Summit, der fokuserede på at tackle de skader, der er forbundet med AI-genereret seksuelt indhold. 

For eksempel i vores undersøgelse, som omfattede 9.007 teenagere, unge voksne og forældre til teenagere i 6 lande ¹, sagde 24%, at de havde set nogen form for AI-genererede billeder eller videoer, der var af seksuel karakter. Af dem, der hævdede at have set denne type indhold, sagde kun 2%, at billederne forestillede en person under 18 år.

Det er opmuntrende, at når folk så denne type indhold, tog 9 ud af 10 en form for handling, der spænder fra at blokere eller slette indholdet (54%) til at tale med venner eller familie, som de stolede på (52%). Dog sagde kun 42%, at de rapporterede indholdet til den platform eller tjeneste, hvor de så det, eller til en hotline/hjælpelinje. Denne indsigt følger en større tendens med lavere rapporteringsrater for digitale sikkerhedsrelaterede spørgsmål generelt. Vi påpegede i et tidligere opslag vigtigheden af at modvirke negative opfattelser af rapportering, så unge mennesker ikke normaliserer eksponering for visse problematiske indhold og adfærd online, eller forbinder rapportering med at sladre. 

Endnu mere alarmerende er det, at mere end 40% af de adspurgte var usikre på den juridiske forpligtelse for platforme/tjenester til at rapportere seksuelle billeder af mindreårige, selv hvis sådanne billeder er ment som vittigheder eller memes. Og selvom et større antal (70%+) erkendte, at det var ulovligt at bruge AI-teknologi til at skabe falsk seksuelt indhold af en person eller til at opbevare, se eller dele seksuelle billeder af mindreårige, viser disse resultater, at der er et stort arbejde at gøre for at sikre, at offentligheden er opmærksom på de juridiske krav i forbindelse med denne type indhold.

I USA sagde for eksempel næsten 40% af de adspurgte, at de mener, det er lovligt at bruge AI-teknologi til at skabe falske seksuelle billeder af en person. Og anekdotisk har vi hørt om en bekymrende tendens fra kolleger i branchen: Med udbredelsen af denne type indhold føler især nogle teenagepiger sig "udelukket", hvis de ikke optræder i AI-manipulerede seksuelle billeder, som deres jævnaldrende skaber og deler på upassende vis. Dette foruroligende punkt understreger yderligere behovet for at uddanne og øge bevidstheden om denne specifikke online-risiko, hvor pålidelige voksne og velinformerede jævnaldrende spiller en aktiv rolle i at modvirke denne type adfærd.  

Snaps løbende engagement

Hos Snap investerer vi løbende i ressourcer, værktøjer og teknologi for at fremme sikrere, sundere og mere positive oplevelser på Snapchat og i hele teknologimiljøet.

I nogle tilfælde bruger vi adfærdsmæssige "signaler" til at identificere potentielt ulovlig aktivitet, så vi proaktivt kan fjerne skadelige aktører og rapportere dem til myndighederne. Desuden, som en tjeneste, der inkluderer en samtalebaseret AI-chatbot, gør vi en indsats for at være særligt opmærksomme på at forhindre potentiel generering af sådant materiale på Snapchat, samt beskytte mod deling og distribution af materiale, der måtte være genereret på andre platforme. Vi behandler mistanke om AI-genererede seksuelle billeder af mindreårige på samme måde som "autentiske" billeder af seksuel udnyttelse og misbrug af børn (CSEAI), idet vi fjerner indholdet, så snart vi bliver opmærksomme på det, suspenderer den krænkende konto, og rapporterer det til National Center for Missing and Exploited Children (NCMEC). Dette er ud over at udnytte og implementere teknologi, der er designet til at forhindre spredning af CSEAI, herunder PhotoDNA (til at opdage duplikater af kendte ulovlige billeder) og Googles CSAI Match (til at opdage duplikater af kendte ulovlige videoer). Vi er også for nylig begyndt at bruge Googles Content Safety API (til at hjælpe med at identificere nyt, "aldrig før hashet" billedmateriale i offentligt indhold). Vi har også samarbejdet med NCMEC om, hvordan de unikke digitale signaturer (eller "hashes") fra de 4.700 rapporter, de modtog sidste år vedrørende materiale om seksuelt misbrug af børn, der involverede GenAI, kan udnyttes. 

Vi samarbejder med de retshåndhævende myndigheder, støtter deres efterforskninger og investerer betydeligt i vores globale Trust and Safety- og Law Enforcement Operations-teams, som arbejder 24/7 for at beskytte vores fællesskab. Vi afholder årlige topmøder for de retshåndhævende myndigheder i USA for at sikre, at betjente og myndigheder ved, hvordan de skal gribe ind over for ulovlig aktivitet, der måtte finde sted på vores platform. 

Vi fortsætter også med at udvide vores rapporteringsværktøjer i appen, som omfatter muligheder for, at vores fællesskab kan markere nøgenhed og seksuelt indhold, og specifikt CSEAI. Rapportering af problematisk indhold og konti er afgørende for at hjælpe teknologivirksomheder med at fjerne dårlige aktører fra deres tjenester og forhindre yderligere aktivitet, før det potentielt skader andre. 

For nylig tilføjede vi nye funktioner til vores Family Center-værktøjssuite, som forældre kan bruge til bedre at forstå, hvordan deres teenager bruger Snapchat, herunder vores AI-chatbot. Vi har også udgivet nye ressourcer, der skal hjælpe undervisere og skoleledere med at forstå, hvordan deres elever bruger Snapchat, og de ressourcer, vi tilbyder for at hjælpe skolerne med at skabe sikre og støttende miljøer for eleverne.

Og vi fortsætter med at investere i måder, hvorpå vi kan øge offentlighedens og Snapchatteres bevidsthed om seksuelle skader på nettet. Vores "Sikkerheds-Snapshots" -episoder i appen fokuserer på seksuelle risici, herunder emner som grooming og menneskehandel af børn på nettet. Vi var også den første enhed, der støttede Know2Protect, en kampagne fra det amerikanske Department of Homeland Security, der fokuserer på at uddanne og styrke unge mennesker, forældre, betroede voksne og beslutningstagere om seksuelt misbrug af børn på nettet. 

Vi ser frem til at fortsætte samarbejdet med alle typer interessenter – forældre, unge, undervisere og beslutningstagere for at nævne nogle få – om disse samfundsmæssige spørgsmål, og vi håber, at indsigterne fra vores forskning på tværs af platforme vil være med til at skabe nye ideer og muligheder for at sikre, at folk er opmærksomme på eksisterende og nye onlinetrusler samt de ressourcer, der er til rådighed for at bekæmpe disse risici. 

— Viraj Doshi, leder af platformssikkerhed