Rýchly rozvoj nástrojov umelej inteligencie v posledných rokoch vytvára a bude naďalej vytvárať nové príležitosti pre kreativitu, učenie a prepojenie. Táto technológia však priniesla aj novú dynamiku existujúcich online rizík. Nový výskum ukazuje, že počet ľudí, ktorí sa na internete stretávajú so sexuálne motivovanými obrázkami a videami vytvorenými umelou inteligenciou, neustále narastá, ale povedomie o nezákonnosti niektorých z týchto obsahov je stále problémom.

Aby sme lepšie pochopili postoje a správanie tínedžerov a mladých dospelých na všetkých platformách a vo všetkých službách, spoločnosť Snap každoročne vykonáva a zdieľa prieskum v rámci celého odvetvia s názvom Digital Well-Being Index. (Prieskum zadala spoločnosť Snap, ale týka sa skúseností generácie Z v digitálnych priestoroch všeobecne, bez špecifického zamerania na Snapchat.) Hoci plánujeme zverejniť úplné výsledky našej štúdie z tretieho roka v súvislosti s medzinárodným Dňom bezpečného internetu vo februári 2025, radi by sme vám priblížili niektoré kľúčové zistenia o tom, ako sa dospievajúci, mladí dospelí a dokonca aj rodičia zapájajú do generatívneho sexuálneho obsahu založeného na umelej inteligencii a ako naň reagujú. Robíme tak dnes v súvislosti s celosvetovým zameraním na sexuálne vykorisťovanie a zneužívanie detí, ktorému sa tento týždeň venujeme, a v súvislosti s našou účasťou na samite Empowering Voices DC, ktorý sa zameral na riešenie škôd spojených so sexuálnym obsahom generovaným umelou inteligenciou.

Napríklad v našej štúdii, do ktorej sa zapojilo 9 007 dospievajúcich, mladých dospelých a rodičov dospievajúcich v 6 krajinách, ¹24 % respondentov uviedlo, že už videli nejaké obrázky alebo videá vytvorené umelou inteligenciou, ktoré mali sexuálny charakter. Z tých, ktorí tvrdili, že videli tento typ obsahu, len 2 % uviedli, že išlo o osoby mladšie ako 18 rokov.

Povzbudivé je, že keď ľudia videli tento typ obsahu, 9 z 10 podniklo nejaké kroky, od zablokovania alebo vymazania obsahu (54 %) až po oslovenie dôveryhodných priateľov alebo rodiny (52 %). Len 42 % však uviedlo, že obsah nahlásili platforme alebo službe, kde ho videli, alebo na linku pomoci. Tento poznatok nadväzuje na väčší trend nižšej miery nahlasovania problémov súvisiacich s digitálnou bezpečnosťou vo všeobecnosti. V jednom z predchádzajúcich príspevkov sme poukázali na dôležitosť boja proti negatívnemu vnímaniu nahlasovania, aby mladí ľudia nepovažovali vystavenie určitému problematickému obsahu a správaniu na internete za normálne alebo aby si nahlasovanie nezrovnávali s donášaním. 

Ešte znepokojujúcejšie je, že viac ako 40 % respondentov nemalo jasno v otázke zákonnej povinnosti platforiem/služieb nahlasovať sexuálne zábery maloletých, a to aj v prípade, že takéto zábery sú zamýšľané ako vtipy alebo meme. A hoci väčší počet respondentov (viac ako 70 %) uznáva, že používanie technológie umelej inteligencie na vytváranie falošného sexuálneho obsahu osôb alebo na uchovávanie, prezeranie alebo zdieľanie sexuálnych záberov neplnoletých osôb je nezákonné, tieto zistenia naznačujú, že je potrebné vykonať ešte veľa práce na zabezpečenie toho, aby široká verejnosť poznala právne požiadavky týkajúce sa tohto typu obsahu.

Napríklad v USA takmer 40 % respondentov uviedlo, že podľa nich je legálne používať technológiu umelej inteligencie na vytváranie falošných sexuálnych snímok osôb. Od kolegov z odvetvia sme sa dozvedeli o znepokojujúcom trende: v súvislosti s rozširovaním tohto typu obsahu sa najmä niektoré dospievajúce dievčatá cítia „vynechané“, ak nie sú zobrazované na sexuálnych snímkach manipulovaných umelou inteligenciou, ktoré nevhodne vytvárajú a zdieľajú ich rovesníci. Tento znepokojujúci bod ďalej zdôrazňuje potrebu vzdelávania a zvyšovania povedomia o tomto špecifickom online riziku, pričom aktívnu úlohu pri odrádzaní od tohto typu správania by mali zohrávať dôveryhodní dospelí a informovaní rovesníci.

Trvalý záväzok spoločnosti Snap

V spoločnosti Snap neustále investujeme do zdrojov, nástrojov a technológií, aby sme podporili bezpečnejšie, zdravšie a pozitívnejšie skúsenosti na Snapchate a v celom technologickom ekosystéme.

V niektorých prípadoch používame behaviorálne „signály“ na identifikáciu potenciálne nezákonnej činnosti, aby sme mohli proaktívne odstrániť zlé subjekty a nahlásiť ich úradom. Okrem toho sa ako služba, ktorá zahŕňa konverzačného chatbota s umelou inteligenciou, snažíme byť mimoriadne ostražití pri prevencii potenciálneho vytvárania takéhoto materiálu na Snapchate, ako aj pri ochrane pred zdieľaním a šírením materiálu, ktorý mohol byť vytvorený na iných platformách. K podozrivým sexuálnym zobrazeniam maloletých vytvoreným umelou inteligenciou pristupujeme rovnako ako k „autentickým“ zobrazeniam sexuálneho vykorisťovania a zneužívania detí (CSEAI), pričom po zistení obsahu ho odstránime a konto, ktoré ho porušilo, pozastavíme, a nahlásime ho Národnému centru pre nezvestné a zneužívané deti (NCMEC). Okrem toho sa využívajú a zavádzajú technológie určené na predchádzanie šíreniu CSEAI vrátane technológie PhotoDNA (na odhaľovanie duplikátov známych nelegálnych obrázkov) a CSAI Match spoločnosti Google (na odhaľovanie duplikátov známych nelegálnych videí). Nedávno sme tiež začali používať rozhranie API pre bezpečnosť obsahu spoločnosti Google (na pomoc pri odhaľovaní nových, „nikdy predtým neskrytých“ obrázkov vo verejnom obsahu). S organizáciou NCMEC sme tiež spolupracovali na tom, ako využiť jedinečné digitálne podpisy (alebo „hashe“) 4 700 hlásení, ktoré dostali v minulom roku v súvislosti s materiálmi o sexuálnom zneužívaní detí, ktoré sa týkali GenAI. 

Spolupracujeme s orgánmi činnými v trestnom konaní, podporujeme ich vyšetrovanie a výrazne investujeme do našich globálnych tímov pre dôveru a bezpečnosť a pre operácie v oblasti presadzovania práva, ktoré pracujú 24 hodín denne, aby pomohli udržať našu komunitu v bezpečí. Organizujeme každoročné samity pre orgány činné v trestnom konaní v USA, aby sme zabezpečili, že funkcionári a agentúry budú vedieť, ako podniknúť vhodné kroky proti akejkoľvek nezákonnej činnosti, ktorá sa môže diať na našej platforme. 

Pokračujeme tiež v rozširovaní našich nástrojov na nahlasovanie v aplikácii, ktoré zahŕňajú možnosti pre našu komunitu označovať nahotu a sexuálny obsah, a to konkrétne CSEAI. Nahlasovanie problematického obsahu a účtov je veľmi dôležité, pretože pomáha technologickým spoločnostiam odstrániť zlých aktérov zo svojich služieb a zabrániť ďalším aktivitám skôr, než potenciálne spôsobia škodu iným. 

Nedávno sme do nášho balíka nástrojov Family Center pridali nové funkcie, pomocou ktorých môžu rodičia lepšie pochopiť, ako ich tínedžer používa Snapchat, vrátane nášho chatbota s umelou inteligenciou. Vydali sme tiež nové zdroje, ktoré pomôžu pedagógom a správcom škôl pochopiť, ako ich študenti používajú Snapchat, a zdroje, ktoré ponúkame na pomoc školám v ich úsilí o vytvorenie bezpečného a podporného prostredia pre študentov.

Aj naďalej investujeme do spôsobov, ako zvýšiť povedomie verejnosti a používateľov aplikácie Snapchatter o sexuálnom poškodzovaní na internete. Naše epizódy „Safety Snapshot“ v aplikácii sa zameriavajú na sexuálne riziká vrátane tém, ako je online grooming detí a obchodovanie s ľuďmi. Boli sme tiež prvým subjektom, ktorý podporil Know2Protect, kampaň amerického ministerstva pre vnútornú bezpečnosť zameranú na vzdelávanie a posilnenie postavenia mladých ľudí, rodičov, dôveryhodných dospelých a tvorcov politík v oblasti sexuálneho zneužívania detí online.

Tešíme sa na ďalšiu spoluprácu so všetkými typmi zainteresovaných strán – rodičmi, mladými ľuďmi, pedagógmi a tvorcami politík – v súvislosti s týmito celospoločenskými problémami a dúfame, že poznatky z nášho výskumu medzi platformami pomôžu vytvoriť nové nápady a príležitosti na zabezpečenie informovanosti ľudí o existujúcich a nových online hrozbách a o dostupných zdrojoch na boj proti týmto rizikám.

– Viraj Doshi, vedúci bezpečnosti na platforme