Creșterea rapidă a instrumentelor de inteligență artificială în ultimii ani a creat și va continua să creeze noi oportunități pentru a crea, învăța și a ne conecta. Cu toate acestea, tehnologia a introdus, de asemenea, noi dinamici în riscurile online care existau deja. Cercetări recente arată că, pe măsură ce numărul persoanelor care intră în contact online cu imagini și videoclipuri cu conținut sexual, generate de AI, continuă să crească, conștientizarea aspectului ilegal a unor părți din acest conținut devine o provocare din ce în ce mai mare

Pentru a înțelege mai bine atitudinile și comportamentele adolescenților și tinerilor adulți pe toate platformele și serviciile, Snap desfășoară și publică anual o cercetare la nivel de industrie, numită Digital Well-Being Index. (Cercetarea solicitată de Snap acoperă experiențele generației Z în spațiile digitale în general, fără un accent specific pe Snapchat.) Deși planificăm să publicăm în februarie 2025 rezultatele complete ale celui de-al treilea studiu anual în cadrul Zilei Internaționale a Siguranței pe Internet, dorim să prezentăm în avans câteva descoperiri cheie despre cum adolescenții, tinerii adulți și chiar părinții interacționează cu și reacționează la conținutul sexual generat de AI. Facem acest lucru astăzi, luând în considerare focusul global asupra exploatării și abuzului sexual asupra copiilor în această săptămână, dar în contextul participării noastre la Summitul Empowering Voices DC, dedicat daunelor asociate cu conținutul sexual generat de AI.

De exemplu, în studiul nostru, care a sondat 9.007 adolescenți, tineri adulți și părinți ai adolescenților din 6 țări, ¹, 24% au spus că au văzut imagini sau videoclipuri generate de AI de natură sexuală. Dintre cei care au spus că au văzut acest tip de conținut, doar 2% au afirmat că imaginile erau cu o persoană mai tânără de 18 ani.

Este îmbucurător faptul că nouă din zece oameni care au văzut acest tip de conținut au luat măsuri: de la blocarea sau ștergerea conținutului (54%) până la a vorbi cu prieteni sau cu membri de încredere ai familiei (52%). Cu toate acestea, doar 42% au declarat că au raportat conținutul platformei sau serviciului unde l-au văzut sau către o line de asistență. Această constatare aparține unei tendințe generale răspândite, de raportare scăzută a problemelor legate de siguranța digitală Am subliniat, într-o postare anterioară, importanța combaterii percepțiilor negative legate de raportare, astfel încât tinerii să nu normalizeze expunerea la anumite tipuri de conținut și comportamente problematice online și să nu asocieze raportarea cu „pârâtul”.

Și mai alarmant este faptul că peste 40% dintre respondenți nu erau clar informați despre obligația legală a platformelor/serviciilor de a raporta imagini sexuale cu minori, chiar dacă cei care creează astfel de imagini le gândesc ca glume sau meme-uri. Deși un număr mai mare de respondenți (peste 70%) au recunoscut că este ilegal să folosești tehnologia AI pentru a crea conținut sexual fals despre o persoană sau să deții, vizualizezi sau distribui imagini sexuale cu minori, aceste constatări indică faptul că mai este mult de lucru pentru a generaliza conștientizarea publicului larg cu privire la acest tip de conținut.

În Statele Unite, de exemplu, aproape 40% dintre respondenți consideră că este legal să folosești tehnologia AI pentru a crea imagini sexuale false despre o persoană. Și, anecdotic, am auzit de la colegi din industrie despre un trend îngrijorător: odată cu proliferarea acestui tip de conținut, în special unele adolescente se simt „excluse” dacă nu apar în imagini sexuale manipulate de AI pe care colegii lor le creează și le distribuie în mod nepotrivit. Acest aspect tulburător subliniază și mai mult necesitatea de a educa și de a crește gradul de conștientizare cu privire la acest risc online, implicând adulți de încredere și colegi informați care să descurajeze activ acest tip de comportament.

Angajamentul continuu din partea Snap

La Snap, investim constant în resurse, instrumente și tehnologii pentru a promova experiențe mai sigure, mai sănătoase și mai pozitive pe Snapchat și în întregul ecosistem tehnologic.

În unele cazuri, folosim „semnale” comportamentale pentru a identifica activități potențial ilegale, astfel încât să putem elimina proactiv actorii rău intenționați și să îi raportăm autorităților. Mai mult, fiind un serviciu care include un chatbot AI, depunem eforturi suplimentare pentru a preveni generarea potențială a unui astfel de material pe Snapchat, precum și pentru a proteja împotriva distribuirii și partajării materialelor care ar putea fi generate pe alte platforme. Tratăm imaginile sexuale ale minorilor suspectate a fi generate de AI la fel ca imaginile „autentice” de exploatare și abuz sexual asupra copiilor (CSEAI), eliminând conținutul imediat ce luăm cunoștință de el, suspendând contul care a încălcat legea, și raportându-l la Centrul Național pentru Copii Dispăruți și Exploatați (NCMEC). Aceasta se adaugă la utilizarea și implementarea tehnologiilor concepute pentru a preveni răspândirea CSEAI, inclusiv PhotoDNA (pentru a detecta duplicate ale imaginilor ilegale cunoscute) și CSAI Match de la Google (pentru a detecta duplicate ale videoclipurilor ilegale cunoscute). De asemenea, am început recent să folosim API-ul privind siguranța conținutului de la Google (pentru a ajuta la detectarea imaginilor noi, „niciodată anterior marcate”, în conținutul public). Am colaborat, de asemenea, cu NCMEC (Centrul Național pentru Copii Dispăruţi şi Exploataţi) pentru a folosi semnăturile digitale unice („hash-uri”) din cele 4.700 de rapoarte pe care le-au primit anul trecut legate de materialele de abuz sexual asupra copiilor, care au implicat GenAI.

Colaborăm cu forțele de ordine, îi ajutăm cu investigațiile și investim considerabil în echipele noastre globale pentru încredere, siguranță și operațiuni de aplicare a legii, care lucrează non-stop pentru menține siguranța comunității noastre. Organizăm reuniuni anuale la nivel înalt pentru forțele de ordine din SUA pentru a ne asigura că ofițerii și agențiile știu cum să ia măsuri adecvate împotriva oricărei activități ilegale care ar putea avea loc pe platforma noastră. 

De asemenea, ne îmbogățim încontinuu instrumentele de raportare în aplicație, care permit membrilor comunității noastre să semnaleze nuditatea și conținutul sexual, în special CSEAI (Imagini de exploatare și abuz sexual asupra copiilor). Raportarea conținutului și a conturilor problematice este extrem de importantă pentru a ajuta companiile de tehnologie să elimine actorii rău intenționați din serviciile lor și să împiedice alte activități înainte ca acestea să provoace prejudicii altora.

Mai recent, am adăugat noi funcționalități suitei noastre de instrumente din Centrul pentru Familie, pe care părinții le pot folosi pentru a înțelege mai bine cum folosesc adolescenții Snapchat, inclusiv chatbot-ul nostru bazat pe inteligență artificială.
De asemenea, am lansat noi resurse pentru a ajuta educatorii și administratorii școlari să înțeleagă cum folosesc elevii Snapchat și pentru a le pune la dispoziție instrumentele necesare în eforturile de a crea medii sigure și de sprijin pentru elevi.

Și continuăm să investim în modalități de a crește gradul de conștientizare al publicului și al utilizatorilor Snapchat cu privire la pericolele sexuale online. Episoadele noastre, „Safety Snapshot”, din aplicație se concentrează pe riscurile sexuale, incluzând subiecte precum manipularea online a copiilor și traficul de persoane. Am fost, de asemenea, prima entitate care a susținut Know2Protect, o campanie a Departamentului de Securitate Internă al SUA axată pe educarea și sprijinirea tinerilor, părinților, adulților de încredere și factorilor de decizie cu privire la abuzul sexual online asupra copiilor.

Așteptăm cu nerăbdare să continuăm colaborarea cu toate părțile interesate (părinți, tineri, educatori și factori de decizie etc) pe aceste tipuri de probleme care implică întreaga societate și sperăm ca informațiile din cercetarea noastră pe mai multe platforme să ajute la generarea unor noi idei și oportunități. Sperăm, astfel, ca oamenii să devină mai conștienți de amenințările online, actuale și viitoare, precum și de resursele disponibile pentru a combate aceste riscuri.

— Viraj Doshi, Lider de echipă pentru Siguranța Platformei