Rychlý nárůst AI v posledních letech má a bude i nadále vytvářet nové příležitosti pro kreativitu, učení a propojování se. Technologie však také zavedla novou dynamiku stávajícím rizikům na internetu. Nový výzkum ukazuje, že jelikož počet lidí, kteří se setkávají s obrázky a videi se sexuálním podtextem vyrobenými AI na internetu stále roste, musí být povědomí o nelegálnosti některého takového obsahu nadále výzvou.

Aby bylo možné lépe pochopit postoje a chování dospívajících a mladých dospělých napříč všemi platformami a službami, společnost Snap provádí sdílení a sdílí každoroční výzkum v celé řadě odvětví nazývaný náš Index digitální pohody.  (Společnost Snap zadala výzkum, ten ale pokrývá zkušenosti společnosti Generace Z napříč digitálním prostorem bez specifického zaměření se na Snapchat ).  Zatímco plánujeme vypustit úplné výsledky naší studie třetího roku ve spojení s mezinárodním dnem bezpečnějšího internetu v únoru 2025, chceme zobrazit náhled některých klíčových zjištění toho, jak se dospívající, mladí dospělí a dokonce rodiče účastní a reagují na generativní sexuální obsah vycházející z AI. Dnes tak činíme ve světle globálního zaměření na sexuální vykořisťování a zneužívání dětí tento týden a ve spojení s naší účastí na summitu zplnomocnění hlasů DC se zaměřením na řešení škod spojených se sexuálním obsahem vygenerovaným AI.

Například v naší studii, která se dotazovala 9 007 dospívajících, mladých dospělých a rodičů dospívajících v šesti zemích ¹24 % uvedlo, že viděli nějaký druh obrázků nebo videí vygenerovaných AI, které byly sexuální povahy. Z těch, kteří tvrdili, že viděli tento typ obsahu, pouze 2 % uvedlo, že obrázky byly někoho mladšího 18 let.

Je povzbudivé, že když lidé viděli tento typ obsahu, 9 z 10 podniklo nějakou akci, od blokování nebo odstranění obsahu (54 %) až k promluvení si s důvěryhodnými přáteli nebo rodinou (52 %). Pouze 42 % však uvedlo, že nahlásili obsah na platformu nebo službu, kde ho viděli, nebo na horkou linku nebo linku pomoci. Tento vhled navazuje na větší trend nižších hlášení problémů související s digitální bezpečností obecně. V dřívějším příspěvku jsme poukázali na význam potírání negativního vnímání podávání hlášení tak, aby mladí lidé nebrali jako normální vystavení určitému problematickému obsahu a chování on-line nebo stavěli na roveň podávání zpráv s pomlouváním.

Ještě více alarmující je skutečnost, že více než 40 % dotázaných si nebylo jistých ohledně právní povinnosti platforem nebo služeb nahlásit sexuální obrázky nezletilých, i když jsou tyto obrázky určeny jako vtipy nebo memy (internetem šířené pojmy). A zatímco větší počet (více než 70 %) uznal, že bylo nezákonné používat technologie AI k vytvoření falešného sexuálního obsahu osoby nebo si ponechat, prohlížet nebo sdílet sexuální obrázky nezletilých, tato zjištění naznačují, že je třeba udělat značnou práci k tomu, aby se zajistilo, že široká veřejnost si je vědoma právních požadavků souvisejících s tímto typem obsahu.

Například v USA téměř 40 % dotázaných uvedlo, že je přesvědčeno o tom, že je legální používat technologii AI k vytvoření falešných sexuálních obrázků nějakého člověka. A neoficiálně jsme slyšeli o znepokojujícím trendu od kolegů z tohoto odvětví: s rozšířením tohoto typu obsahu se některé dívky v teenagerském věku cítí „vynechány“, pokud nejsou uváděny na sexuálních snímcích s umělou manipulací, které jejich vrstevníci nevhodně vytvářejí a sdílejí. Tato znepokojivá věc dále zdůrazňuje potřebu vzdělávat se a zvyšovat povědomí o tomto konkrétním riziku na internetu, s důvěryhodnými dospělými a informovanými vrstevníky, kteří hrají aktivní roli při odrazování od tohoto typu chování.  

Pokračující závazek společnosti Snap

Ve společnosti Snap neustále investujeme do zdrojů, nástrojů a technologií, abychom pomohli podporovat bezpečnější, zdravější a pozitivnější zkušenosti na Snapchatu a v celém technologickém ekosystému.

V některých případech používáme „signály" chování k rozpoznání potenciálně nelegální činnosti, abychom mohli proaktivně odstranit špatné aktéry a nahlásit je úřadům. Kromě toho jako služba zahrnující konverzační AI chatbot vyvíjíme úsilí, abychom byli navíc bdělí v prevenci potenciální generace před takovým materiálem na Snapchatu a také v ochraně proti sdílení a distribuci materiálu, který mohl být vygenerován na jiných platformách. Se sexuálním zobrazováním vygenerovaným AI nezletilým osobám zacházíme stejně jako s „autentickým“ sexuálním vykořisťováním dětí a zobrazováním zneužívání dětí (CSEAI), přičemž obsah odstraníme poté, jakmile se o něm dozvíme, pozastavíme porušující účet a nahlásíme ho do Národního centra pro pohřešované a vykořisťované děti (NCMEC). To je kromě využití a rozmístění technologie navržené k zabránění šíření CSEAI, včetně PhotoDNA (pro detekci duplikátů známých nelegálních obrázků) a Google CSAI match (pro detekci duplikátů známých nelegálních videí). Nedávno jsme také začali používat Google’s Content Safety API pro bezpečnost obsahu společnosti Google (abychom pomohli při odhalování nových, nikdy předtím nepředělávaných obrázků na veřejném obsahu). Také jsme se s NCMEC zapojili do toho, jak využít jedinečné digitální podpisy (nebo „hasy“) ze 4 700 hlášení které obdrželi minulý rok a které se týkaly materiálů o sexuálním zneužívání dětí, do kterých bylo zapojeno generování pomocí AI. 

Spolupracujeme s donucovacími orgány, podporujeme jejich vyšetřování a silně investujeme do našich globálních týmů pro podporu důvěry bezpečnosti a bezpečnosti prosazování práva, které pracují 24 hodin 7 dnů v týdnu, aby pomohly udržet naši komunitu v bezpečí. Každý rok ve Spojených státech pořádáme summity pro orgány činné v trestním řízení, abychom se ujistili, že úřední osoby a orgány ví, jak vhodně zakročit v případě jakékoli nezákonné činnosti, ke které může dojít na naší platformě. 

Také nadále pokračujeme v rozšiřování našich nástrojů pro hlášení v aplikaci, které zahrnují možnosti pro naši komunitu označit nahotu a sexuální obsah a konkrétně CSEAI. Nahlašování problematického obsahu a účtů je přitom mimořádně důležité, protože umožňuje technologickým firmám odstraňovat problémové uživatele z jejich služeb a bránit jim v dalších aktivitách, kterými by mohli ohrozit ostatní.

V poslední době jsme přidali nové funkce do naší sady nástrojů Rodinné centrum a rodiče mohou používat, aby lépe pochopili, jak jejich dospívající používá Snapchat a také náš AI chatbot. Také jsme vydali nové prostředky na pomoc pedagogům a správcům škol, aby pochopili, jak jejich studenti používají Snapchat a tyto prostředky nabízíme, abychom pomohli školám vytvořit bezpečné a podpůrné prostředí pro studenty.

A nadále investujeme do způsobů, jak zvýšit povědomí veřejnosti a společnosti Snapchatter o sexuálních hrozbách na internetu. Naše epizody v aplikaci Bezpečnostní snímek se zaměřují na sexuální témata, jako péče o děti na internetu a obchodování s dětmi. Byli jsme také prvním subjektem na podporu Know2Protect, americké kampaně pro vnitřní bezpečnost USA, zaměřené na vzdělávání a posílení postavení mladých lidí, rodičů, důvěryhodných dospělých a tvůrců zásad o sexuálním zneužívání dětí na internetu. 

Těšíme se na pokračování v práci se všemi typy zúčastněných - rodiči, mladými lidmi, učiteli a tvůrci zásad, abychom některé z nich vyjmenovali - na těchto typech celospolečenských problémů, a doufáme, že náhled z našeho výzkumu napříč platformou pomůže vytvořit nové nápady a příležitosti k zajištění toho, aby si byli lidé vědomi stávajících a nových hrozeb na internetu a tyto dostupné prostředky jim pomohly bojovat s těmito riziky.

- Viraj Doshi, vedoucí bezpečnosti platformy