Sei settimane fa, abbiamo lanciato My AI, un chatbot programmato con la tecnologia GPT di OpenAI. Abbiamo iniziato gradualmente, mettendolo prima a disposizione degli utenti abbonati a Snapchat+ e dopo circa un mese, abbiamo già ottenuto numerosi insegnamenti. Ad esempio, sappiamo che tra gli argomenti che sono stati richiesti più spesso dalla community a My AI ci sono film, sport, videogame, animali e la matematica.

Abbiamo anche capito meglio le potenziali aree che potrebbero portare a un utilizzo errato del chatbot, ad esempio, quando le persone hanno tentato di forzarlo a dare risposte che non sono conformi alle nostre linee guida. Inoltre, nel contesto della nostra collaborazione per migliorare My AI, vogliamo condividere un aggiornamento su alcuni miglioramenti alla sicurezza che sono stati recentemente implementati, proprio in seguito ai dati che abbiamo acquisito da questa esperienza, e sui nuovi strumenti che intendiamo adottare in futuro. 

La privacy è sempre stata prioritaria per Snap, poiché aiuta le persone a sentirsi maggiormente a proprio agio quando si esprimono e quando comunicano con amici e familiari. In Snapchat cerchiamo sempre di comunicare con chiarezza alla nostra community il modo in cui i prodotti utilizzano i dati, fornendo il contesto di riferimento, e come sviluppiamo le funzionalità sulla base di processi che utilizzano il principio della privacy integrata. Ad esempio, il modo in cui i dati vengono trattati nelle conversazioni tra amici su Snapchat è diverso dal modo in cui vengono trattati i dati derivanti dalla trasmissione dei contenuti, per i quali vogliamo garantire standard più elevati e che sottoponiamo a moderazione, poiché raggiungono un pubblico più ampio. 

Tuttavia, poiché My AI è un chatbot e non è un amico in carne e ossa, abbiamo deciso di trattare i dati a esso associati in modo diverso, poiché siamo in grado di utilizzare la cronologia delle conversazioni per renderlo ancora più divertente, utile e sicuro. Prima che gli Snapchatter possano usare My AI, mostriamo loro un messaggio di benvenuto, in cui viene chiarito che tutti i messaggi scambiati con My AI vengono conservati a meno che l'utente non li elimini. 

La possibilità di rivedere queste prime interazioni con My AI ci ha aiutato a identificare le protezioni che funzionano in modo efficace e quelle che devono essere potenziate. Per valutare questi aspetti, abbiamo analizzato le richieste fatte a My AI e le risposte che contengono linguaggio “non conforme” alle linee guida, ossia che include riferimenti a violenza, a termini sessualmente espliciti, a uso illecito di sostanze stupefacenti, ad abusi sessuali a carico dei minori, ad atti di bullismo, che incita all'odio, ad affermazioni offensive o che comunicano pregiudizi, al razzismo, alla misoginia oppure alla marginalizzazione dei gruppi sottorappresentati. Tutte queste categorie di contenuti sono esplicitamente proibite su Snapchat.

Dalle nostre ultime analisi è emerso che soltanto lo 0,01% delle risposte di My AI è stato valutato come non conforme. Le risposte non conformi più comuni sono emerse quando My AI ripeteva parole inappropriate per rispondere alle domande poste dagli Snapchatter.

Continueremo a utilizzare questi dati per migliorare My AI. I dati ci aiuteranno anche a implementare un nuovo sistema per limitare l'utilizzo improprio di My AI. Stiamo lavorando per aggiungere la tecnologia di moderazione di Open AI al nostro set di strumenti esistente, che ci consentirà di valutare la gravità dei contenuti potenzialmente dannosi e di limitare temporaneamente l'accesso degli Snapchatter a My AI, qualora ne facessero un uso improprio. 

Prendiamo molto sul serio la nostra responsabilità di sviluppare prodotti ed esperienze che mettano la sicurezza al primo posto e che siano adeguati all'età dei nostri utenti. Dal lancio di My AI, abbiamo lavorato con impegno per migliorare le risposte alle richieste inappropriate degli Snapchatter, a prescindere dalla loro età. Adottiamo anche degli strumenti di rilevamento proattivi per scansionare le conversazioni con My AI, individuare testi potenzialmente non conformi e intervenire, ove necessario.

Inoltre, abbiamo sviluppato una nuova segnalazione dell'età per My AI, che si basa sulla data di nascita degli Snapchatter. In questo modo, anche se non riveleranno mai a My AI la loro età durante una conversazione, il chatbot sarà in grado di tenerla sempre presente durante l'interazione. 

Attraverso il nostro Family Center in-app, Snapchat offre ai genitori e ai tutori la possibilità di vedere gli amici con cui i ragazzi comunicano e con quale frequenza. Nelle prossime settimane, offriremo ai genitori la possibilità di avere maggiore visibilità sulle interazioni dei ragazzi con My AI. Ossia, i genitori avranno la possibilità di utilizzare Family Center per vedere se i ragazzi stanno utilizzando My AI e con quale frequenza. Per usare Family Center sia il genitore che il ragazzo devono attivare l'opzione e le famiglie interessate possono avere ulteriori informazioni su come registrarsi qui. 

Nel caso in cui gli Snapchatter ricevano risposte preoccupanti da My AI, li invitiamo sempre a utilizzare gli strumenti di segnalazione integrati nell'app e a inviarci il loro riscontro sull'esperienza di utilizzo del prodotto. 

Ci impegnamo costantemente per migliorare My AI e continueremo a valutare nuove misure per garantire la sicurezza della nostra community. Vi ringraziamo per i primi feedback su My AI e ribadiamo il nostro impegno a offrire alla nostra community un'esperienza divertente e sicura.