Brz porast UI alata posljednjih godina stvorio je nove prilike za kreativnost, učenje i povezivanje, i nastavit će ih stvarati. Međutim, tehnologija je također uvela novu dinamiku u postojeće rizike na mreži. Novo istraživanje pokazuje kako broj ljudi koji se susreću sa seksualno nabijenim UI-slikama i videozapisima na internetu nastavlja rasti, a svjesnost o nezakonitostima nekih od ovih sadržaja i dalje predstavlja izazov.

Kako bismo stekli bolje razumijevanje stavova i ponašanja tinejdžera i mladih odraslih na svim platformama i uslugama, Snap provodi i dijeli godišnje istraživanje u cijeloj industriji pod nazivom naš Indeks digitalne dobrobiti. (Snap je naručio istraživanje, ali ono općenito pokriva iskustva Generacije Z u digitalnim prostorima, bez posebnog fokusa na Snapchat.)  Iako planiramo objaviti potpune rezultate naše Treće godine istraživanja u vezi s Međunarodnim danom sigurnijeg interneta u veljači 2025., želimo pregledati neke ključne nalaze o tome kako se tinejdžeri, mladi odrasli, pa čak i roditelji uključuju i reagiraju na generativni UI seksualnoga sadržaja. To činimo danas, u svjetlu globalnog fokusa na seksualno iskorištavanje i zlostavljanje djece ovog tjedna, te u vezi s našim sudjelovanjem na Empowering Voices DC Summitu, koji je bio usmjeren na rješavanje šteta povezanih sa seksualnim sadržajem generiranim UI-om.

Primjerice, u našem istraživanju, koje je anketiralo 9.007 tinejdžera, mladih odraslih osoba i roditelja tinejdžera u 6 država ¹, 24 % osoba reklo je da je vidjelo neku vrstu slika ili videozapisa seksualne prirode generiranih UI-om. Od onih koji su tvrdili da su vidjeli ovu vrstu sadržaja, samo 2 % njih reklo je da su slike bile od osoba mlađih od 18 godina.

Ohrabrujuće je to što, kada su ljudi vidjeli ovu vrstu sadržaja, 9 od 10 osoba poduzelo je nešto, u rasponu od blokiranja ili brisanja sadržaja (54 %) do razgovaranja s povjerljivim prijateljima ili obitelji (52 %). Međutim, samo 42 % njih reklo je da je prijavilo sadržaj platformi ili servisu na kojem su ga vidjeli, ili telefonskoj liniji za pomoć. Ovaj uvid slijedi veći trend nižih stopa prijavljivanja općenito problema povezanih s digitalnom sigurnošću. Istaknuli smo, u prijašnjoj objavi, važnost suzbijanja negativnih percepcija izvještavanja kako mladi ljudi ne bi normalizirali izloženost određenim problematičnim sadržajima i ponašanju na internetu ili izjednačili izvještavanje s govorenjem besmislica.

Još je alarmantnije to što je više od 40 % ispitanika bilo nejasnima u vezi sa zakonskom obvezom platformi/servisa da prijavljuju seksualne slike maloljetnika, čak i ako su takve slike namijenjene šali ili memovima. I, dok je veći broj (+70 %) priznao da je nezakonito koristiti se UI tehnologijom za stvaranje lažnog seksualnog sadržaja osobe, ili za zadržavanje, gledanje ili dijeljenje seksualnih slika maloljetnika, ovi nalazi pokazuju da postoji značajan posao za obaviti kako bi se osiguralo da je javnost upoznata sa zakonskim zahtjevima koji se odnose na ovu vrstu sadržaja.

Na primjer, u SAD-u je gotovo 40 % ispitanika reklo da vjeruje da je zakonito koristiti se UI tehnologijom za stvaranje lažnih seksualnih slika osobe. I, anegdotalno, čuli smo za zabrinjavajući trend od kolega iz industrije: s proliferacijom ove vrste sadržaja, posebno se neke tinejdžerice osjećaju „izostavljenima“ ako nisu prikazane u seksualnim slikama, kojima je upravljao UI, koje njihove vršnjakinje neprikladno stvaraju i dijele. Ova uznemirujuća točka dodatno naglašava potrebu za obrazovanjem i podizanjem svjesnosti o ovom specifičnom riziku na mreži, pri čemu odrasle osobe kojima vjerujemo i informirani vršnjaci igraju aktivnu ulogu u obeshrabrivanju ove vrste ponašanja.

Neprekidna predanost društva Snap

U Snapu kontinuirano ulažemo u resurse, alate i tehnologiju kako bismo potaknuli sigurnija, zdravija i pozitivnija iskustva na Snapchatu i u cijelom tehnološkom ekosustavu.

U nekim slučajevima koristimo se bihevioralnim „signalima“ za prepoznavanje potencijalno nezakonitih aktivnosti kako bismo mogli proaktivno ukloniti loše aktere i prijaviti ih vlastima. Štoviše, kao usluga koja uključuje razgovorni UI chatbot, ulažemo napore da budemo posebno oprezni u sprječavanju potencijalnog stvaranja takva materijala na Snapchatu, kao i zaštiti od dijeljenja i distribucije materijala, koji je možda generiran na drugim platformama. Seksualne slike maloljetnika koje je generirao UI tretiramo isto kao i „autentične“ slike seksualnog iskorištavanja i zlostavljanja djece (CSEAI), uklanjajući sadržaj kada postanemo svjesni toga, obustavljamo račun koji krši pravila, i prijavljivanje Nacionalnom centru za nestalu i zlostavljanu djecu (NCMEC). Ovo je dodatak iskorištavanju i implementaciji tehnologije osmišljene za sprječavanje širenja CSEAI-ja, uključujući PhotoDNA (za otkrivanje duplikata poznatih protuzakonitih slika) i Googleov CSAI Match (za otkrivanje duplikata poznatih protuzakonitih videozapisa). Također smo nedavno počeli koristiti se Googleovim API-jem za sigurnost sadržaja (kao pomoć u otkrivanju novih, „nikad prije raspršenih“ slika na javnom sadržaju). Također smo surađivali s NCMEC-om o tome kako iskoristiti jedinstvene digitalne potpise (ili „hasheve“) 4.700 prijava koje su primili prošle godine u vezi s materijalom o seksualnom zlostavljanju djece koji je uključivao GenAI.

Mi surađujemo s tijelima za provođenje zakona, podupirući njihove istrage i puno ulažemo u naše globalne timove za povjerenje i sigurnost i za provođenje zakona koji rade danonoćno kako bi održali našu zajednicu sigurnom. Domaćini smo godišnjih sastanaka na vrhu za provedbu zakona u SAD-u, s ciljem da službenici i agencije znaju kako poduzeti odgovarajuće mjere protiv bilo koje nezakonite aktivnosti koja se može dogoditi na našoj platformi.

Također nastavljamo širiti naše alate za prijavu unutar aplikacije, koji uključuju opcije za našu zajednicu da označi golotinju i seksualni sadržaj, a posebno CSEAI. Prijavljivanje problematičnog sadržaja i računa ključno je za pomoć tehnološkim tvrtkama da uklone loše aktere sa svojih usluga i spriječe daljnje aktivnosti prije nego što potencijalno nanesu štetu drugima.

Nedavno smo dodali nove značajke našem paketu alata Obiteljski centar, kojim se roditelji mogu koristiti da bolje razumiju kako njihov tinejdžer upotrebljava Snapchat, uključujući naš UI chatbot. Također smo objavili nove resurse kako bismo pomogli nastavnicima i školskim administratorima da razumiju kako njihovi učenici rabe Snapchat i resurse koje nudimo da pomognemo školama u njihovim nastojanjima da stvore sigurno okruženje koje će im pružiti podršku.

I, nastavljamo ulagati u načine podizanja svjesnosti javnosti i Snapchattera o seksualnim štetama na mreži. Naše epizode „Safety Snapshot“ unutar aplikacije fokusirane su na seksualne rizike, uključujući teme kao što su dotjerivanje djece na internetu i trgovina ljudima. Također smo bili prvi subjekt koji je podržao Know2Protect, kampanju Ministarstva domovinske sigurnosti SAD-a usmjerenu na obrazovanje i osnaživanje mladih ljudi, roditelja, odraslih osoba od povjerenja i kreatora pravilnika o seksualnom zlostavljanju djece na internetu.

Veselimo se nastavku suradnje sa svim vrstama dionika -- roditeljima, mladima, nastavnicima i kreatorima politika da spomenemo samo neke -- na ovim vrstama pitanja koja se tiču ​​cijelog društva i nadamo se da će uvidi iz naše više platformi istraživanja pomažu u stvaranju novih ideja i prilika kako bi se osiguralo da su ljudi svjesni postojećih i novih prijetnji na internetu i dostupnih resursa za pomoć u borbi protiv tih rizika.

— Viraj Doshi, voditelj sigurnosti platforme