Kuus nädalat tagasi tõime turule My AI, vestlusroboti, mis on ehitatud OpenAI GPT-tehnoloogiaga. Alustasime aeglaselt, pakkudes My AI-d Snapchat+ tellijatele ja veidi enam kui kuu ajaga oleme palju õppinud. Näiteks teame, et mõned levinumad teemad, mille kohta meie kogukond on My AI-lt küsinud, on filmid, sport, mängud, lemmikloomad ja matemaatika.

Oleme õppinud ka mõningatest väärkasutuse võimalustest, millest paljudest saime teada inimestelt, kes üritasid vestlusrobotit petta, et see annaks vastuseid, mis ei vasta meie juhistele. Osana meie ühisest tööst My AI täiustamisel soovime jagada värskendust mõnede turvaparanduste kohta, mille oleme hiljuti oma õppetundide tulemusena kasutusele võtnud – koos uute tööriistadega, mida kavatseme rakendada.

My AI lähenemine andmetele

Privaatsus on alati olnud Snapi missiooni keskmes – see aitab inimestel end sõprade ja perega suheldes mugavamalt väljendada. Kogu Snapchatis püüame pakkuda oma kogukonnale selgust ja konteksti selle kohta, kuidas meie tooted andmeid kasutavad ja kuidas me funktsioone privaatsust arvestava disaini protsesside abil ehitame. Näiteks see, kuidas me käsitleme Snapchatis sõpradevaheliste vestlustega seotud andmeid, erineb sellest, kuidas me käsitleme Snapchatis edastatava sisuga seotud andmeid, millele meil on kõrgemad standardid ja mida tuleb modereerida, kuna see jõuab suure vaatajaskonnani.

Kuna My AI on aga vestlusrobot ja mitte päris sõber, oleme seotud andmeid teadlikult erinevalt käsitlenud, sest saame vestluste ajalugu kasutada, et muuta My AI jätkuvalt lõbusamaks, kasulikumaks ja turvalisemaks. Enne kui Snapchatteritel lubatakse My AI-d kasutada, näitame neile sissejuhatavat sõnumit, mis teeb selgeks, et kõik My AI-ga saadetud sõnumid säilitatakse, kui te neid ei kustuta.

Nende varajaste My AI-ga suhtluste ülevaatamine on aidanud meil tuvastada, millised kaitsepiirded töötavad hästi ja milliseid tuleb tugevdada. Selle hindamiseks oleme läbi viinud My AI päringute ja vastuste ülevaatusi, mis sisaldavad „nõuetele mittevastavat“ keelt, mida me defineerime kui mis tahes teksti, mis sisaldab viiteid vägivallale, seksuaalselt vulgaarsetele terminitele, ebaseaduslikule uimastitarbimisele, laste seksuaalsele kuritarvitamisele, kiusamisele, vihakõnele, halvustavatele või erapoolikutele avaldustele, rassismile, naistevihale või alaesindatud rühmade marginaliseerimisele. Kõik need sisukategooriad on Snapchatis selgesõnaliselt keelatud.

Meie viimane analüüs näitas, et ainult 0,01% My AI vastustest loeti nõuetele mittevastavaks. Kõige levinumate nõuetele mittevastavate My AI vastuste näideteks oli see, et My AI kordas Snapchatterite küsimustele vastates sobimatuid sõnu.

Jätkame nende õppetundide kasutamist My AI täiustamiseks. Need andmed aitavad meil kasutusele võtta ka uue süsteemi My AI väärkasutuse piiramiseks. Lisame oma olemasolevasse tööriistakomplekti Open AI modereerimistehnoloogia, mis võimaldab meil hinnata potentsiaalselt kahjuliku sisu tõsidust ja ajutiselt piirata Snapchatterite juurdepääsu My AI-le, kui nad teenust väärkasutavad.

Eakohased kogemused

Võtame tõsiselt oma vastutust kujundada tooteid ja kogemusi, mis seavad esikohale ohutuse ja eakohasuse. Alates My AI käivitamisest oleme teinud jõuliselt tööd, et parandada selle vastuseid sobimatutele Snapchatteri päringutele, olenemata Snapchatteri vanusest. Samuti kasutame ennetavaid tuvastamisvahendeid, et skannida My AI vestlusi potentsiaalselt nõuetele mittevastava teksti suhtes ja võtta meetmeid.

Oleme rakendanud ka My AI jaoks uue vanusesignaali, mis kasutab Snapchatteri sünnikuupäeva, nii et isegi kui Snapchatter ei ütle kunagi vestluses My AI-le oma vanust, võtab vestlusrobot vestlusesse astudes tema vanust järjepidevalt arvesse.

My AI Perekeskuses

Snapchat pakub vanematele ja hooldajatele meie rakendusesisese Perekeskuse kaudu ülevaadet sellest, milliste sõpradega nende teismelised suhtlevad ja kui hiljuti. Lähinädalatel anname vanematele rohkem teavet nende teismeliste suhtlusest My AI-ga. See tähendab, et vanemad saavad kasutada Perekeskust, et näha, kas nende teismelised suhtlevad My AI-ga ja kui sageli. Perekeskuse kasutamiseks peavad nii lapsevanem kui ka teismeline sellega nõustuma – ja huvitatud pered saavad lisateavet selle kohta, kuidas registreeruma siin.

Julgustame jätkuvalt Snapchattere kasutama meie rakendusesiseseid teavitamisvahendeid, kui nad saavad My AI-lt murettekitavaid vastuseid, ja esitama meile tagasisidet oma üldiste kogemuste kohta tootega.

Töötame pidevalt My AI täiustamise nimel ja hindame pidevalt täiendavaid meetmeid, mis aitavad meie kogukonda turvalisena hoida. Hindame kogu varajast tagasisidet My AI kohta ja oleme pühendunud oma kogukonnale lõbusa ja turvalise kogemuse pakkumisele.