Prije šest tjedana uveli smo My AI, chatbot izrađen pomoću GPT tehnologije tvrtke OpenAI. Krenuli smo polako tako što smo uslugu My AI pružili pretplatnicima na Snapchat+ i u nešto više od mjesec dana puno smo naučili. Na primjer, znamo da su neke od najčešćih tema o kojima je naša zajednica pitala My AI filmovi, sport, igre, kućni ljubimci i matematika.

Također smo saznali o nekim mogućnostima zlouporabe, od kojih smo mnoge saznali od ljudi koji su pokušavali prevariti chatbot kako bi pružio odgovore koji nisu u skladu s našim smjernicama. U sklopu našeg zajedničkog rada na poboljšanju usluge My AI, želimo podijeliti novosti o nekim sigurnosnim poboljšanjima koja smo nedavno uveli kao rezultat naših saznanja, zajedno s novim alatima koje planiramo implementirati. 

Pristup podacima usluge My AI 

Privatnost je oduvijek bila ključna za misiju tvrtke Snap – pomaže ljudima da se osjećaju ugodnije izražavajući se u komunikaciji s prijateljima i obitelji. U cijelom Snapchatu nastojimo našoj zajednici pružiti jasnoću i kontekst o tome kako naši proizvodi koriste podatke i kako gradimo značajke koristeći procese koji se temelje na načelu privatnosti. Na primjer, način na koji obrađujemo podatke vezane uz razgovore između prijatelja na Snapchatu razlikuje se od načina na koji obrađujemo podatke vezane uz emitirani sadržaj na Snapchatu, za koji se držimo višeg standarda i zahtijevamo moderiranje jer dopire do velike publike. 

Međutim, budući da je My AI chatbot, a ne pravi prijatelj, namjerno smo drugačije postupali s povezanim podacima jer možemo koristiti povijest razgovora kako bismo nastavili činiti My AI zabavnijim, korisnijim i sigurnijim. Prije nego što Snapchatteri dobiju dopuštenje za korištenje usluge My AI, prikazujemo im poruku o uvođenju koja jasno navodi da će sve poruke s uslugom My AI biti zadržane osim ako ih ne izbrišete. 

Mogućnost pregleda ovih ranih interakcija s uslugom My AI pomogla nam je identificirati koje zaštitne mjere dobro funkcioniraju, a koje treba ojačati. Kako bismo to procijenili, provodili smo preglede upita i odgovora usluge My AI koji sadrže „neusklađen” jezik, koji definiramo kao bilo koji tekst koji uključuje reference na nasilje, seksualno eksplicitne izraze, nezakonitu uporabu droga, seksualno zlostavljanje djece, zlostavljanje, govor mržnje, pogrdne ili pristrane izjave, rasizam, mizoginiju ili marginaliziranje nedovoljno zastupljenih skupina. Sve ove kategorije sadržaja izričito su zabranjene na Snapchatu.

Naša najnovija analiza pokazala je da je samo 0,01 % odgovora usluge My AI ocijenjeno neusklađenim. Primjeri najčešćih neusklađenih odgovora usluge My AI uključivali su ponavljanje neprimjerenih riječi kao odgovor na pitanja Snapchattera.

Nastavit ćemo koristiti ova saznanja za poboljšanje usluge My AI. Ovi podaci također će nam pomoći da implementiramo novi sustav za ograničavanje zlouporabe usluge My AI. Našem postojećem skupu alata dodajemo tehnologiju moderiranja tvrtke Open AI, što će nam omogućiti da procijenimo ozbiljnost potencijalno štetnog sadržaja i privremeno ograničimo pristup Snapchattera usluzi My AI ako zloupotrijebe uslugu. 

Iskustva primjerena dobi 

Ozbiljno shvaćamo našu odgovornost za dizajniranje proizvoda i iskustava koji daju prednost sigurnosti i primjerenosti dobi. Od pokretanja usluge My AI, energično smo radili na poboljšanju njezinih odgovora na neprimjerene zahtjeve Snapchattera, bez obzira na dob Snapchattera. Također koristimo proaktivne alate za otkrivanje kako bismo skenirali razgovore usluge My AI u potrazi za potencijalno neusklađenim tekstom i poduzeli mjere.

Također smo implementirali novi dobni signal za My AI koji koristi datum rođenja Snapchattera, tako da čak i ako Snapchatter nikada ne kaže usluzi My AI svoju dob u razgovoru, chatbot će dosljedno uzimati u obzir njegovu dob prilikom razgovora. 

My AI u Obiteljskom centru

Snapchat nudi roditeljima i skrbnicima uvid u to s kojim prijateljima njihovi tinejdžeri komuniciraju i koliko nedavno, putem našeg Obiteljskog centra u aplikaciji. U narednim tjednima roditeljima ćemo pružiti bolji uvid u interakcije njihovih tinejdžera s uslugom My AI. To znači da će roditelji moći koristiti Obiteljski centar kako bi vidjeli komuniciraju li njihovi tinejdžeri s uslugom My AI i koliko često. Da bi se koristio Obiteljski centar, i roditelj i tinejdžer moraju se uključiti, a zainteresirane obitelji mogu saznati više o tome kako se registrirati ovdje. 

Nastavljamo poticati Snapchattere da koriste naše alate za prijavu u aplikaciji ako dobiju bilo kakve zabrinjavajuće odgovore od usluge My AI i da nam pošalju povratne informacije o svojim cjelokupnim iskustvima s proizvodom. 

Stalno radimo na poboljšanju usluge My AI i kontinuirano ćemo procjenjivati dodatne mjere kako bismo pomogli u očuvanju sigurnosti naše zajednice. Cijenimo sve rane povratne informacije o usluzi My AI i predani smo pružanju zabavnog i sigurnog iskustva za našu zajednicu.