Den raske økningen av AI-verktøy de siste årene har skapt og vil fortsette å skape nye muligheter for kreativitet, læring og tilknytning. Men teknologien har også gitt en ny dynamikk til eksisterende risikoer på nett. Ny forskning viser at antall personer som støter på seksuelt ladede AI-bilder og -videoer på nett fortsetter å vokse. Og bevisstheten om ulovligheten til noe av dette innholdet fortsetter å være en utfordring.

For å få en bedre forståelse av holdningene og atferden til tenåringer og unge vokse på tvers av alle plattformer og tjenester, gjennomfører og deler Snap bransjeomfattende forskning årlig som kalles Digital Well-Being Index (digitalt velvære indeks).  (Snap bestilte forskningen, men den dekker generasjon Zs opplevelser på tvers av digitale rom generelt, uten spesifikt fokus på Snapchat.)  Mens vi planlegger å publisere de fullstendige resultatene fra vår «Year Three» studie i forbindelse med den internasjonale dagen «Safer Internet Day» i februar 2025, vil vi gi deg en liten forsmak på viktige funn om hvordan tenåringer, unge voksen og til og med foreldre engasjerer seg i og reagerer på generativ AI-basert seksuelt innhold. Vi gjør det i dag, i lys av det globale fokuset på seksuelt utnyttelse av og overgrep mot barn denne uken, og i forbindelse med at vi deltar på Empowering Voices DC-toppmøtet, som fokuserer på å rette oppmerksomhet mot skadene som forbindes med AI-generert seksuelt innhold. 

For eksempel, i studien vår som undersøkte 9 007 tenåringer, unge voksne og foreldre til tenåringer i seks land ¹, sa 24 % at de hadde sett en form for AI-genererte bilder eller videoer som var av seksuell karakter. Av de som sa at de hadde sett denne typen innhold, sa kun 2 % at bildene var av noen som var under 18 år.

Oppmuntrende nok, når folk så denne typen innhold, foretok ni av ti en handling, fra å blokkere eller slette innholdet (54 %) til å snakke med venner eller familiemedlemmer de stoler på (52 %). Imidlertid sa bare 42 % at de rapporterte innholdet til plattformen eller tjenesten der de så det, eller til en hotline/hjelpetelefon. Denne innsikten følger en større trend med lavere rapporteringsrater av digitale, sikkerhetsrelaterte problemer generelt. I et tidligere innlegg påpekte vi viktigheten av å motvirke negative oppfatninger av rapportering, slik at unge mennesker ikke normaliserer eksponering for problematisk innhold og oppførsel på nett, eller setter likhetstegn mellom rapportering og sladring. 

Enda mer alarmerende er det at mer enn 40 % av respondentene var usikre på den juridiske forpliktelsen plattformer/tjenester har til å rapportere seksuelle bilder av mindreårige, selv om slike bilder er ment som en spøk eller memes. Og mens et større antall (mer enn 70 %) anerkjente at det er ulovlig å bruke AI-teknologi til å lage falskt, seksuelt innhold av en person, eller til å oppbevare, vise eller dele seksuelle bilder av mindreårige, indikerer disse funnene at det må gjøres et betydelig arbeid for å sikre at allmenheten er klar over de juridiske kravene som er knyttet til denne typen innhold.

I USA sa for eksempel nesten 40 % av respondentene at de tror det er ulovlig å bruke AI-teknologi til å lage falske, seksuelle bilder av en person. Og anekdotisk har vi hørt om en bekymringsfull trend fra bransjekolleger: med spredning av denne typen innhold føler noen tenåringsjenter seg «utelatt» hvis de ikke fremstilles i AI-manipulerte, seksuelle bilder som skapes og deles av deres jevnaldrende. Dette urovekkende punktet understreker ytterligere behovet for å gi opplæring og øke bevisstheten om denne spesifikke risikoen på nett. Voksne de stoler på og informerte jevnaldrende spiller en viktig rolle i å motvirke denne typen atferd.  

Snaps pågående engasjement

Hos Snap investerer vi kontinuerlig i ressurser, verktøy og teknologi for å bidra til å fremme tryggere, sunnere og mer positive opplevelser på Snapchat og i hele det teknologiske økosystemet.

I noen tilfeller bruker vi atferdsmessige «signaler» til å identifisere potensielt ulovlig aktivitet, slik at vi kan fjerne slemme aktører og rapportere dem til myndighetene, proaktivt. Som en tjeneste som inkluderer en AI-chatbot man kan ha en samtale med, prøver vi i tillegg å være ekstra på vakt for å forhindre muligheten til generering av slikt innhold på Snapchat, samt beskytte mot deling og distribusjon av materiale som kan ha blitt generert på andre plattformer. Vi behandler seksuelle bilder av mindreårige som vi mistenker er AI-generert på samme måte som «autentiske» bilder av seksuell utnyttelse og misbruk av barn (CSEAI), fjerner innhold når vi blir oppmerksomme på det, suspenderer den tilknyttede kontoen, og rapporterer det til National Center for Missing and Exploited Children (NCMEC). Dette kommer i tillegg til å bruke og distribuere teknologi som er utviklet for å forhindre spredning av CSEAI, inkludert PhotoDNA (for å oppdage duplikater av kjente, ulovlige bilder) og Googles CSAI Match (for å oppdage duplikater av kjente, ulovlige videoer). Vi har også nylig begynt å bruke Googles Content Safety API (for å hjelpe til med å oppdage nye «ikke tidligere hashed» bilder i offentlig innhold). Vi har også samarbeidet med NCMEC for å finne ut hvordan vi kan utnytte de unike, digitale signaturene (eller «hashene») til de 4 700 rapporteringene de mottok i fjor, som var relatert til materiale med seksuelle overgrep mot barn som involverte GenAI. 

Vi samarbeider med politiet, bidrar i etterforskningen deres og investerer tungt i de globale tillits- og sikkerhets-, samt rettshåndhevelse-teamene våre som jobber døgnet rundt for å holde fellesskapet vårt trygt. Vi arrangerer årlige toppmøter for politimyndigheter i USA med sikte på å sikre at politibetjenter og -organer har kjennskap til hvordan de skal iverksette passende tiltak mot enhver ulovlig aktivitet som kan oppstå på plattformen vår. 

Vi fortsetter også med å utvide rapporteringsverktøyene våre i appen, som inkluderer muligheter for at fellesskapet kan flagge nakenhet og seksuelt innhold, og spesielt CSEAI. Rapportering av problematisk innhold eller kontoer er svært viktig for å hjelpe teknologiselskaper med å fjerne dårlige aktører fra tjenestene deres, og hindre videre aktivitet som kan skade andre.

Vi har nylig lagt til nye funksjoner i Familiesenter-pakken vår med verktøy som foreldre kan bruke for å forstå bedre hvordan tenåringene deres bruker Snapchat, inkludert AI-chatboten vår. Vi har også utgitt nye ressurser for å hjelpe lærere og skoleledere med å forstå hvordan elevene deres bruker Snapchat, samt hvilke ressurser vi tilbyr for å hjelpe skoler i forsøket deres på å skape et tryggere og mer støttende miljø for elevene.

Og vi fortsetter å investere i måter vi kan øke bevisstheten om seksuelle skader på nettet i offentligheten og hos Snapchattere på. Våre «Safety Snapshot»-episoder i appen fokuserer på seksuelle risikoer, inkludert temaer som grooming og menneskehandel med barn. Vi var også den første enheten som støttet Know2Protect, en kampanje fra U.S. Department of Homeland Security som fokuserte på å gi opplæring og støtte til unge mennesker, foreldre, pålitelige voksne og politikere om seksuelle overgrep mot barn på nett. 

Vi gleder oss til å fortsette å samarbeide med alle typer interessenter – foreldre, unge mennesker, lærere og politikere for å nevne noen – om disse problemstillingene som berører hele samfunnet. Og vi håper at innsikten fra forskningen vår på tvers av plattformer bidrar til å skape nye ideer og muligheter for å sikre at folk er klar over eksisterende og nye trusler på nett, samt hvilke ressurser som er tilgjengelige for å hjelpe til med å bekjempe disse risikoene.

– Viraj Doshi, leder for plattformsikkerhet