Pirms sešām nedēļām mēs izlaidām My AI, tērzēšanas robotu, kas izveidots, izmantojot OpenAI GPT tehnoloģiju. Mēs sākām lēnām, nodrošinot My AI Snapchat+ abonentiem, un nedaudz vairāk kā mēneša laikā esam daudz uzzinājuši. Piemēram, mēs zinām, ka dažas no visbiežāk sastopamajām tēmām, par kurām mūsu kopiena ir jautājusi My AI, ir filmas, sports, spēles, mājdzīvnieki un matemātika.

Mēs esam arī uzzinājuši par dažiem iespējamiem ļaunprātīgas izmantošanas gadījumiem, no kuriem daudzus mēs uzzinājām no cilvēkiem, kas mēģināja apmānīt tērzēšanas robotu, lai tas sniegtu atbildes, kas neatbilst mūsu vadlīnijām. Kā daļu no mūsu kopīgā darba, lai uzlabotu My AI, mēs vēlamies dalīties ar jaunumiem par dažiem drošības uzlabojumiem, ko esam nesen ieviesuši, pamatojoties uz mūsu atziņām, kā arī par jauniem rīkiem, ko plānojam ieviest. 

My AI pieeja datiem 

Privātums vienmēr ir bijis Snap misijas centrā — tas palīdz cilvēkiem justies ērtāk, izpaužoties, sazinoties ar draugiem un ģimeni. Visā Snapchat mēs cenšamies nodrošināt mūsu kopienai skaidrību un kontekstu par to, kā mūsu produkti izmanto datus un kā mēs veidojam funkcijas, izmantojot privātuma pēc noklusējuma procesus. Piemēram, veids, kā mēs apstrādājam datus, kas saistīti ar sarunām starp draugiem Snapchat, atšķiras no tā, kā mēs apstrādājam datus, kas saistīti ar apraides saturu Snapchat, kam mēs piemērojam augstāku standartu un pieprasām moderāciju, jo tas sasniedz lielu auditoriju. 

Tomēr, tā kā My AI ir tērzēšanas robots, nevis īsts draugs, mēs esam apzināti izvēlējušies ar to saistītos datus apstrādāt atšķirīgi, jo mēs varam izmantot sarunu vēsturi, lai turpinātu padarīt My AI jautrāku, noderīgāku un drošāku. Pirms Snapchatter lietotājiem tiek atļauts izmantot My AI, mēs viņiem parādām ievadziņojumu, kurā skaidri norādīts, ka visi ziņojumi ar My AI tiks saglabāti, ja vien jūs tos neizdzēsīsiet. 

Iespēja pārskatīt šīs agrīnās mijiedarbības ar My AI ir palīdzējusi mums noteikt, kuras aizsargbarjeras darbojas labi un kuras ir jānostiprina. Lai to novērtētu, mēs esam veikuši My AI vaicājumu un atbilžu pārskatus, kas satur “neatbilstošu” valodu, ko mēs definējam kā jebkuru tekstu, kas ietver atsauces uz vardarbību, seksuāli atklātus terminus, neatļautu narkotiku lietošanu, bērnu seksuālu izmantošanu, iebiedēšanu, naida runu, nievājošus vai neobjektīvus apgalvojumus, rasismu, naidīgumu pret sievietēm vai nepietiekami pārstāvētu grupu marginalizāciju. Visas šīs satura kategorijas ir nepārprotami aizliegtas Snapchat.

Mūsu jaunākā analīze atklāja, ka tikai 0,01% no My AI atbildēm tika uzskatītas par neatbilstošām. Visbiežāk sastopamo neatbilstošo My AI atbilžu piemēri ietvēra My AI, kas atkārtoja nepiemērotus vārdus, atbildot uz Snapchatter lietotāju jautājumiem.

Mēs turpināsim izmantot šīs atziņas, lai uzlabotu My AI. Šie dati arī palīdzēs mums ieviest jaunu sistēmu, lai ierobežotu My AI ļaunprātīgu izmantošanu. Mēs pievienojam Open AI moderēšanas tehnoloģiju mūsu esošajam rīku komplektam, kas ļaus mums novērtēt potenciāli kaitīga satura smagumu un īslaicīgi ierobežot Snapchatter lietotāju piekļuvi My AI, ja viņi ļaunprātīgi izmanto pakalpojumu. 

Vecumam atbilstoša pieredze 

Mēs nopietni uztveram savu atbildību izstrādāt produktus un pieredzi, kas par prioritāti izvirza drošību un atbilstību vecumam. Kopš My AI palaišanas mēs esam enerģiski strādājuši, lai uzlabotu tā atbildes uz nepiemērotiem Snapchatter lietotāju pieprasījumiem neatkarīgi no Snapchatter lietotāja vecuma. Mēs arī izmantojam proaktīvus noteikšanas rīkus, lai skenētu My AI sarunas, meklējot potenciāli neatbilstošu tekstu, un veiktu attiecīgus pasākumus.

Mēs esam arī ieviesuši jaunu vecuma signālu My AI, izmantojot Snapchatter lietotāja dzimšanas datumu, lai pat tad, ja Snapchatter lietotājs sarunā nekad nepateiktu My AI savu vecumu, tērzēšanas robots, uzsākot sarunu, konsekventi ņems vērā viņa vecumu. 

My AI Ģimenes centrā

Snapchat piedāvā vecākiem un aizbildņiem redzamību par to, ar kuriem draugiem viņu pusaudži sazinās un cik nesen, izmantojot mūsu lietotnē iebūvēto Ģimenes centru. Tuvāko nedēļu laikā mēs sniegsim vecākiem plašāku ieskatu viņu pusaudžu mijiedarbībā ar My AI. Tas nozīmē, ka vecāki varēs izmantot Ģimenes centru, lai redzētu, vai viņu pusaudži sazinās ar My AI un cik bieži. Lai izmantotu Ģimenes centru, gan vecākam, gan pusaudzim ir jāpiekrīt, un ieinteresētās ģimenes var uzzināt vairāk par to, kā reģistrēties šeit. 

Mēs turpinām mudināt Snapchatter lietotājus izmantot mūsu lietotnē iebūvētos ziņošanas rīkus, ja viņi saņem satraucošas atbildes no My AI, un iesniegt mums atsauksmes par savu kopējo pieredzi ar produktu. 

Mēs pastāvīgi strādājam, lai uzlabotu My AI, un mēs nepārtraukti izvērtēsim papildu pasākumus, lai palīdzētu nodrošināt mūsu kopienas drošību. Mēs novērtējam visas agrīnās atsauksmes par My AI un esam apņēmušies nodrošināt jautru un drošu pieredzi mūsu kopienai.