Il rapido aumento degli strumenti di IA negli ultimi anni ha creato e continuerà a creare nuove opportunità per la creatività, l'apprendimento e la connessione. Tuttavia, la tecnologia ha anche introdotto nuove dinamiche ai rischi online esistenti. Una nuova ricerca dimostra che, sebbene il numero di persone che trovano online immagini e video a sfondo sessuale basati su IA continua a crescere, la consapevolezza dell'illegalità di alcuni di questi contenuti continua a essere una sfida.

Per comprendere meglio le attitudini e i comportamenti degli adolescenti e dei giovani adulti su tutte le piattaforme e i servizi, Snap conduce e condivide una ricerca annuale a livello di settore denominata Indice del benessere digitale. (Snap ha commissionato la ricerca, ma copre le esperienze della Generazione Z negli spazi digitali in generale, senza alcun focus specifico su Snapchat). Sebbene stiamo progettando di pubblicare i risultati completi del nostro studio del terzo anno in concomitanza con il Safer Internet Day a febbraio 2025, vogliamo visualizzare in anteprima alcuni risultati chiave sul modo in cui gli adolescenti, i giovani adulti e persino i genitori interagiscono e reagiscono ai contenuti sessuali basati sull'IA generativa. Lo stiamo facendo oggi, alla luce dell'attenzione globale sullo sfruttamento e l'abuso sessuale dei minori di questa settimana e in concomitanza con la nostra partecipazione all'Empowering Voices DC Summit, che si è incentrato sull'affrontare i danni associati ai contenuti sessuali generati dall'IA.

Ad esempio, nel nostro studio, nel quale sono stati intervistati 9.007 adolescenti, giovani adulti e genitori di adolescenti in 6 Paesi, ¹il 24% ha riferito di aver visto delle immagini o video generati dall'IA di natura sessuale. Tra coloro che hanno affermato di aver visto questo tipo di contenuti, solo il 2% ha affermato che le immagini raffiguravano soggetti con età inferiore a 18 anni.

Fa ben sperare il fatto che, quando le persone visualizzano questo tipo di contenuti, 9 su 10 intraprendono azioni che vanno dal blocco o dall'eliminazione dei contenuti (54%) al parlare con amici o familiari di fiducia (52%). Tuttavia, solo il 42% ha affermato di aver segnalato i contenuti al servizio o alla piattaforma in cui ha visto le immagini o a una linea telefonica/linea di assistenza. Questo approfondimento segue una tendenza più ampia di tassi di segnalazione più bassi sui problemi legati alla sicurezza digitale in generale. Abbiamo sottolineato, in un post precedente, l'importanza di contrastare la percezione negativa della segnalazione in modo che i giovani non normalizzino l'esposizione a determinati contenuti e comportamenti problematici online, oppure a vedere la segnalazione come una sorta di "fare la spia".

Ancora più allarmante è il fatto che a oltre il 40% degli intervistati non era chiaro l'obbligo legale per le piattaforme/servizi di segnalare immagini sessuali di minori, anche se tali immagini sono intese come scherzi o meme. Inoltre, sebbene un numero maggiore (oltre il 70%) abbia riconosciuto come illegale l'utilizzo della tecnologia IA per creare contenuti sessuali falsi di una persona o per conservare, visualizzare o condividere immagini sessuali di minori, questi risultati indicano che c'è molto lavoro da fare per garantire che il pubblico in generale sia consapevole dei requisiti legali relativi a questo tipo di contenuti.

Negli Stati Uniti, ad esempio, quasi il 40% degli intervistati ha affermato di ritenere legale l'uso della tecnologia IA per creare immagini sessuali false di una persona. Inoltre, sulla base di esperienze personali, abbiamo appreso una tendenza preoccupante dai colleghi del settore: con la proliferazione di questo tipo di contenuti, alcune ragazze adolescenti in particolare si sentono "escluse" se non sono presenti tra le immagini sessuali generate dall'IA che i loro coetanei creano e condividono in modo inappropriato. Questo punto inquietante sottolinea ulteriormente la necessità di educare e aumentare la consapevolezza di questo rischio specifico online e della presenza di adulti di fiducia e coetanei informati che svolgano un ruolo attivo nello dissuadere questo tipo di comportamento.

Impegno continuo di Snap

Noi di Snap investiamo continuamente in risorse, strumenti e tecnologie per contribuire a promuovere esperienze più sicure, più sane e più positive su Snapchat e in tutto l'ecosistema tecnologico.

In alcuni casi, utilizziamo "segnali" comportamentali per individuare attività potenzialmente illegali in modo da poter rimuovere tempestivamente i malintenzionati e segnalarli alle autorità. Inoltre, essendo un servizio che include un chatbot di IA conversazionale, ci impegniamo a essere più vigili nel prevenire la potenziale generazione di tale materiale su Snapchat, nonché a prevenire la condivisione e la distribuzione di materiale che potrebbe essere stato generato su altre piattaforme. Trattiamo le immagini sessuali di minori generate dall'IA come immagini di sfruttamento e abuso sessuale di minori (CSEAI) "autentiche", rimuovendo i contenuti una volta che ne veniamo a conoscenza, sospendendo l'account responsabile della violazione e segnalandolo al Centro nazionale per i bambini scomparsi e sfruttati (National Center for Missing and Exploited Children, NCMEC). Oltre a intraprendere tali azioni, sfruttiamo e implementiamo tecnologie progettate per prevenire la diffusione di immagini CSEAI, tra cui PhotoDNA (per rilevare i duplicati di immagini illegali note) e CSAI Match di Google (per rilevare i duplicati di video illegali noti). Abbiamo anche iniziato a utilizzare l'API di Google per la sicurezza dei contenuti (per contribuire a rilevare immagini nuove e "mai pubblicate prima" sui contenuti pubblici). Abbiamo inoltre collaborato con il NCMEC su come sfruttare le firme digitali uniche (o "hash") delle 4.700 segnalazioni ricevute l'anno scorso relative al materiale riguardante l'abuso sessuale su minori che ha coinvolto GenAI.

Collaboriamo con le forze dell'ordine, supportando le loro indagini e investiamo molto nei nostri team globali di gestione della fiducia, della sicurezza e delle operazioni di applicazione della legge che lavorano 24 ore su 24, 7 giorni su 7, per contribuire a mantenere la nostra community al sicuro. Organizziamo summit annuali per le forze dell'ordine negli Stati Uniti per garantire che i funzionari e le agenzie sappiano come intraprendere azioni appropriate contro qualsiasi attività illegale che potrebbe aver luogo sulla nostra piattaforma.

Continuiamo anche ad espandere i nostri strumenti di segnalazione all'interno dell'app, che includono opzioni per la nostra community per la segnalazione di contenuti di nudità e sessuali, e in particolare CSEAI. Segnalare contenuti e account problematici è fondamentale per aiutare le aziende tecnologiche a rimuovere utenti indesiderati dai servizi e bloccare ulteriori attività prima che possano causare danni ad altri.

Ultimamente, abbiamo aggiunto nuove funzionalità alla nostra suite di strumenti Family Center, che i genitori possono utilizzare per capire meglio come i loro adolescenti utilizzano Snapchat, incluso il nostro chatbot IA. Abbiamo inoltre pubblicato nuove risorse per aiutare gli educatori e gli amministratori scolastici a capire come i loro studenti utilizzano Snapchat e offriamo risorse per aiutare le scuole a creare ambienti sicuri e di supporto per gli studenti.

Inoltre, stiamo continuando a investire nei vari modi per aumentare la consapevolezza del pubblico e degli Snapchatter dei danni di natura sessuale online. I nostri "episodi in-app di Safety Snapshot" si incentrano sui rischi sessuali e trattano di argomenti come l'adescamento online dei minori e il traffico di esseri umani. Siamo stati anche i primi a sostenere Know2Protect, una campagna del Dipartimento della sicurezza interna degli Stati Uniti incentrata sull'educazione e l'emancipazione di giovani, genitori, adulti di fiducia e responsabili politici sull'abuso sessuale dei minori online.

Siamo lieti di continuare a lavorare con tutte le varie parti interessate (genitori, giovani, educatori e responsabili politici per citarne alcuni) su queste tipologie di problemi che riguardano l'intera società e speriamo che gli approfondimenti della nostra ricerca tra varie piattaforme contribuiscano a creare nuove idee e opportunità per garantire che le persone siano consapevoli delle minacce online esistenti e nuove e delle risorse disponibili per contribuire a contrastare questi rischi.

- Viraj Doshi, Responsabile della sicurezza della piattaforma