De snelle opkomst van AI-tools in de afgelopen jaren heeft nieuwe kansen gebracht voor creativiteit, leren en verbinding maken en zal dat blijven doen. Maar de technologie heeft ook nieuwe dynamiek geïntroduceerd voor bestaande online risico's. Nieuw onderzoek toont aan dat het aantal mensen dat online seksueel beladen AI-afbeeldingen en video's tegenkomt steeds groter wordt. Bewustzijn creëren, dat een deel van deze content illegaal is, blijft een uitdaging.

Om een beter begrip te krijgen van de houding en het gedrag van tieners en jongvolwassenen op alle platforms en diensten, voert en deelt Snap jaarlijks onderzoek uit dat onze digitale welzijnsindex wordt genoemd.  (Snap heeft opdracht gegeven voor het onderzoek, maar het betreft de ervaringen van Generatie Z in digitale ruimtes in het algemeen, zonder dat de focus op Snapchat ligt.)  Hoewel we van plan zijn om de volledige resultaten van ons derde onderzoeksjaar in februari 2025 bekend te maken in samenspel met de internationale dag voor veiliger internet, willen we al een voorproefje delen van de belangrijkste resultaten over hoe tieners, jongvolwassenen en zelfs ouders omgaan met en reageren op sexuele inhoud gemaakt door generatieve AI. Dat doen we vandaag, in het licht van de wereldwijde aandacht voor seksuele uitbuiting en misbruik van kinderen deze week en in combinatie met onze deelname aan de Empowering Voices DC Summit, die gaat over het aanpakken van de schade die veroorzaakt is door AI-gegenereerde sexuele inhoud. 

In ons onderzoek, waarin 9.007 tieners, jongvolwassenen en ouders van tieners in 6 landen werden ondervraagd ¹, gaf bijvoorbeeld 24% aan dat ze een soort van AI-gegenereerde afbeeldingen of video's hadden gezien die door AI waren gegenereerd en seksueel van aard waren. Van degenen die beweren dit soort content te hebben gezien, zei slechts 2% dat ze de afbeelding van iemand kregen die jonger was dan 18.

Het is bemoedigend te weten dat wanneer mensen dit soort inhoud zagen, 9 van de 10 actie ondernamen, variërend van het blokkeren of verwijderen van de inhoud (54%) of er met betrouwbare vrienden of familieleden over spraken (52%). Slechts 42% gaf echter aan dat ze de inhoud op het platform of de dienst waar ze die zagen of aan een hotlijn/helplijn rapporteerden. Dit inzicht volgt een bredere trend van lage rapportagepercentages voor digitale veiligheidskwesties in het algemeen. We hebben in een eerdere post het belang van het tegengaan van negatieve percepties van rapportages duidelijk gemaakt, zodat jongeren de blootstelling aan problematische inhoud en gedrag online niet normaal gaan vinden of rapporteren als klikken beschouwen. 

Nog verontrustender is dat meer dan 40% van de respondenten onzeker was over de wettelijke verplichting voor platforms/diensten om seksuele beelden van minderjarigen te rapporteren, zelfs als dergelijke beelden bedoeld zijn als grappen of memes. En hoewel er een groter aantal (ruim 70+) zich besefte dat het illegaal is om AI-technologie te gebruiken om neppe seksuele inhoud van een persoon te maken, of om seksuele beelden van minderjarigen te bewaren, bekijken of delen, geven deze bevindingen aan dat er nog veel werk te doen is om ervoor te zorgen dat het grote publiek zich van de wettelijke verplichtingen voor dit soort inhoud bewust is.

In de VS gaf bijvoorbeeld bijna 40% van de respondenten aan dat ze geloven dat het legaal is om AI-technologie te gebruiken om neppe sexuele afbeeldingen van een persoon te maken. En we van collega's uit de industrie vernomen dat er een zorgwekkende trend bestaat: door de verspreiding van dit soort inhoud voelen sommigen, vooral meisjes, zich "buitengesloten" als ze niet voorkomen in door AI-gemanipuleerde sexuele afbeeldingen die hun leeftijdsgenoten ongepast maken en uitwisselen. Dit verontrustende punt onderstreept nog eens de noodzaak om dit specifieke online risico aan andere betrouwbare ouders en geïnformeerde leeftijdsgenoten bij te brengen en ze er bewust van te maken een actieve rol te spelen in het ontmoedigen van dit soort gedrag.  

De voortdurende inzet van Snap

Bij Snap investeren we voortdurend in informatiebronnen, tools en technologie om veiligere, gezondere en positievere ervaringen te stimuleren op Snapchat en in het bredere technologische ecosysteem.

In sommige gevallen gebruiken we gedragssignalen om mogelijk illegale activiteiten te identificeren, zodat we mensen met slechte bedoelingen proactief kunnen verwijderen en aan de autoriteiten kunnen rapporteren. Bovendien doen we als dienst, die ook een conversationele AI-chatbot heeft, extra ons best om te voorkomen dat er zulk materiaal op Snapchat gegenereerd wordt en beschermen we tegen het delen en verspreiden van materiaal dat op andere platforms gegenereerd zou kunnen zijn. We behandelen verdachte AI-gegenereerde sexuele afbeeldingen van minderjarigen hetzelfde als "echte" afbeeldingen van seksuele uitbuiting en misbruik kinderen (CSEAI) door de inhoud te verwijderen zodra we er bewust van zijn, het account dat in overtreding is op te schorten en melding te maken bij het National Center for Missing and Exploited Children (NCMEC). Dit in aanvulling op het benutten en inzetten van technologie die is ontwikkeld om het verspreiden van CSEAI tegen te gaan, waaronder PhotoDNA (om duplicaten van bestaande illegale afbeeldingen te detecteren) en CSAI Match van Google (om duplicaten van bestaande illegale video's te detecteren). We zijn onlangs ook begonnen met het gebruik van de API voor contentveiligheid van Google (om nieuwe, 'nooit-eerder-gehashte' beelden van openbare inhoud te detecteren). We zijn verder ook betrokken bij het NCMEC over hoe we gebruik kunnen maken van de unieke digitale handtekeningen (of 'hashes') van de 4700 meldingen die ze vorig jaar hebben ontvangen met betrekking tot seksueel misbruik van kinderen waarbij GenAI betrokken was. 

We werken samen met wetshandhavers, ondersteunen hun onderzoeken en investeren veel in onze wereldwijde teams voor vertrouwens- en veiligheids- en wetshandhavingsoperaties die rond de klok werken om onze samenleving veilig te houden. We organiseren jaarlijkse bijeenkomsten voor wetshandhavers in de VS die erop gericht zijn om agenten en instanties te informeren over het nemen van passende maatregelen tegen mogelijke illegale activiteiten op ons platform. 

We blijven ook onze in-app rapportagetools uitbreiden, waaronder de opties voor onze community om naaktheid, sexuele inhoud en specifiek CSEAI te rapporteren. Het melden van problematische content en accounts is cruciaal bij het helpen van technologiebedrijven mensen met slechte bedoelingen van hun diensten te verwijderen en verdere activiteiten tegen te gaan voordat dit mogelijk schade aan anderen toebrengt. 

Nog recenter hebben we nieuwe functies toegevoegd aan de tools van ons Family Center, waarmee ouders nog beter kunnen begrijpen hoe hun tiener omgaat met Snapchat, inclusief onze AI-chatbot. We hebben ook nieuwe informatiebronnen uitgebracht om leerkrachten en schoolleiding te helpen begrijpen hoe hun leerlingen Snapchat gebruiken en de informatiebronnen die we aanbieden helpen scholen bij hun inspanningen om een veiligere en ondersteunende omgeving voor leerlingen te creëren.

En we blijven investeren in meer bewustwording voor het brede publiek en Snapchatters over seksuele schade online. Onze in-app afleveringen van 'Safety Snapshot' richten zich op seksuele risico's, waaronder onderwerpen zoals online grooming van kinderen en trafficking. We waren ook de eerste entiteit die Know2Protect ondersteunde, een campagne van het Amerikaanse ministerie van Binnenlandse Veiligheid dat zich richt op het voorlichten en empoweren van jongeren, ouders, vertrouwde volwassenen en beleidsmakers over sexueel misbruik van kinderen online. 

We kijken ernaar uit om samen met alle belanghebbenden, zoals ouders, jongeren, opvoeders en beleidsmakers (om er enkele te noemen), te blijven werken aan dit soort maatschappelijke problemen en we hopen dat de inzichten uit ons platformonafhankelijke onderzoek helpen om nieuwe ideeën en kansen te creëren om ervoor te zorgen dat mensen op de hoogte zijn van bestaande en nieuwe online bedreigingen en de beschikbare bronnen om deze risico's te bestrijden weten te vinden. 

— Viraj Doshi, teamleider platformveiligheid