Pred šestimi tedni smo uvedli My AI, klepetalnega robota, zgrajenega s tehnologijo GPT podjetja OpenAI. Začeli smo počasi, tako da smo My AI ponudili naročnikom storitve Snapchat+ in v dobrih mesecu dni smo se veliko naučili. Vemo na primer, da so nekatere najpogostejše teme, o katerih je naša skupnost spraševala My AI, filmi, šport, igre, hišni ljubljenčki in matematika.

Spoznali smo tudi nekatere možnosti zlorabe, za mnoge od njih smo izvedeli od ljudi, ki so poskušali klepetalnega robota pretentati, da bi jim dal odgovore, ki niso v skladu z našimi smernicami. V okviru našega skupnega dela za izboljšanje My AI želimo deliti posodobitev nekaterih varnostnih izboljšav, ki smo jih nedavno uvedli na podlagi naših spoznanj – skupaj z novimi orodji, ki jih nameravamo uvesti. 

Pristop My AI k podatkom 

Zasebnost je bila vedno osrednjega pomena za poslanstvo podjetja Snap – ljudem pomaga, da se počutijo bolj udobno pri izražanju med komuniciranjem s prijatelji in družino. V celotnem Snapchatu poskušamo naši skupnosti zagotoviti jasnost in kontekst o tem, kako naši izdelki uporabljajo podatke in kako gradimo funkcije z uporabo postopkov zasebnosti že v zasnovi. Na primer, način, kako obravnavamo podatke, povezane s pogovori med prijatelji na Snapchatu, se razlikuje od načina, kako obravnavamo podatke, povezane z oddajano vsebino na Snapchatu, za katero veljajo višji standardi in zahtevamo moderiranje, ker doseže veliko občinstvo. 

Ker pa je My AI klepetalni robot in ne pravi prijatelj, smo se namenoma odločili, da bomo povezane podatke obravnavali drugače, saj lahko zgodovino pogovorov uporabimo za nadaljnje izboljšanje My AI, da bo bolj zabaven, uporaben in varnejši. Preden lahko Snapchatterji uporabljajo My AI, jim prikažemo sporočilo ob vključitvi, ki jasno pove, da bodo vsa sporočila z My AI shranjena, razen če jih izbrišete. 

Možnost pregleda teh zgodnjih interakcij z My AI nam je pomagala ugotoviti, katere varovalke delujejo dobro in katere je treba okrepiti. Za lažjo oceno smo izvajali preglede poizvedb in odgovorov My AI, ki vsebujejo »neskladen« jezik, ki ga opredeljujemo kot vsako besedilo, ki vključuje sklicevanje na nasilje, spolno eksplicitne izraze, nedovoljeno uporabo drog, spolno zlorabo otrok, ustrahovanje, sovražni govor, slabšalne ali pristranske izjave, rasizem, mizoginijo ali marginalizacijo premalo zastopanih skupin. Vse te kategorije vsebin so na Snapchatu izrecno prepovedane.

Naša zadnja analiza je pokazala, da je bilo le 0,01 % odgovorov My AI ocenjenih kot neskladnih. Primeri najpogostejših neskladnih odgovorov My AI so vključevali ponavljanje neprimernih besed v odgovor na vprašanja Snapchatterjev.

Ta spoznanja bomo še naprej uporabljali za izboljšanje My AI. Ti podatki nam bodo pomagali tudi pri uvedbi novega sistema za omejevanje zlorabe My AI. Našemu obstoječemu naboru orodij dodajamo tehnologijo moderiranja OpenAI, ki nam bo omogočila, da ocenimo resnost potencialno škodljive vsebine in začasno omejimo dostop Snapchatterjev do My AI, če zlorabijo storitev. 

Starosti primerne izkušnje 

Resno jemljemo svojo odgovornost za oblikovanje izdelkov in izkušenj, ki dajejo prednost varnosti in primernosti starosti. Od uvedbe My AI smo si močno prizadevali izboljšati njegove odgovore na neprimerne zahteve Snapchatterjev, ne glede na starost Snapchatterja. Uporabljamo tudi proaktivna orodja za odkrivanje, da skeniramo pogovore My AI za potencialno neskladno besedilo in ukrepamo.

Za My AI smo uvedli tudi nov starostni signal, ki uporablja rojstni datum Snapchatterja, tako da bo klepetalni robot, tudi če Snapchatter v pogovoru nikoli ne pove svoje starosti My AI, dosledno upošteval njegovo starost pri vključevanju v pogovor. 

My AI v Družinskem središču

Snapchat ponuja staršem in skrbnikom vpogled v to, s katerimi prijatelji komunicirajo njihovi najstniki in kako nedavno, prek našega Družinskega središča v aplikaciji. V prihodnjih tednih bomo staršem omogočili večji vpogled v interakcije njihovih najstnikov z My AI. To pomeni, da bodo starši lahko uporabili Družinsko središče, da bi videli, ali njihovi najstniki komunicirajo z My AI in kako pogosto. Da bi lahko uporabljali Družinsko središče, se morata prijaviti tako starš kot najstnik – in zainteresirane družine lahko izvejo več o tem, kako se prijaviti tukaj. 

Še naprej spodbujamo Snapchatterje, da uporabljajo naša orodja za poročanje v aplikaciji, če prejmejo kakršne koli zaskrbljujoče odgovore od My AI, in da nam pošljejo povratne informacije o svojih splošnih izkušnjah z izdelkom. 

Nenehno si prizadevamo izboljšati My AI in nenehno bomo ocenjevali dodatne ukrepe za ohranjanje varnosti naše skupnosti. Cenimo vse zgodnje povratne informacije o My AI in zavezani smo k zagotavljanju zabavne in varne izkušnje za našo skupnost.