Snap Values

Ankstyvosios pamokos iš „My AI“ ir nauji saugos patobulinimai

2023 m. balandžio 4 d.

Prieš šešias savaites pristatėme My AI, pokalbių robotą, sukurtą naudojant „OpenAI“ GPT technologiją. Pradėjome pamažu, pateikdami „My AI“ „Snapchat+“ prenumeratoriams, ir per kiek daugiau nei mėnesį daug ko išmokome. Pavyzdžiui, žinome, kad kai kurios iš dažniausiai pasitaikančių temų, kuriomis mūsų bendruomenė klausinėjo „My AI“, yra filmai, sportas, žaidimai, augintiniai ir matematika.

Taip pat sužinojome apie galimą netinkamą naudojimą, apie kurį daug sužinojome iš žmonių, bandančių apgauti pokalbių robotą, kad šis pateiktų atsakymus, neatitinkančius mūsų gairių. Vykdydami bendrą darbą, skirtą „My AI“ tobulinti, norime pasidalyti naujienomis apie kai kuriuos saugos patobulinimus, kuriuos neseniai įdiegėme remdamiesi savo patirtimi, taip pat apie naujus įrankius, kuriuos planuojame įdiegti.

„My AI“ požiūris į duomenis

Privatumas visada buvo pagrindinis „Snap“ misijos elementas – jis padeda žmonėms jaustis patogiau išreiškiant save bendraujant su draugais ir šeima. Visame „Snapchat“ stengiamės savo bendruomenei suteikti aiškumo ir konteksto apie tai, kaip mūsų produktai naudoja duomenis ir kaip kuriame funkcijas, naudodami privatumo pagal dizainą procesus. Pavyzdžiui, tai, kaip tvarkome duomenis, susijusius su draugų pokalbiais „Snapchat“, skiriasi nuo to, kaip tvarkome duomenis, susijusius su transliuojamu turiniu „Snapchat“, kuriam taikome aukštesnius standartus ir reikalaujame, kad jis būtų moderuojamas, nes pasiekia didelę auditoriją.

Tačiau, kadangi „My AI“ yra pokalbių robotas, o ne tikras draugas, mes sąmoningai elgėmės su susijusiais duomenimis kitaip, nes galime naudoti pokalbių istoriją, kad „My AI“ taptų linksmesnis, naudingesnis ir saugesnis. Prieš leidžiant „Snapchatter“ naudotojams naudotis „My AI“, parodome jiems pradinį pranešimą, kuriame aiškiai nurodoma, kad visos žinutės su „My AI“ bus saugomos, nebent jas ištrinsite.

Galimybė peržiūrėti šias ankstyvas sąveikas su „My AI“ padėjo mums nustatyti, kurios apsaugos priemonės veikia gerai, o kurias reikia sustiprinti. Siekdami tai įvertinti, atliekame „My AI“ užklausų ir atsakymų, kuriuose yra „neatitinkančios“ kalbos, peržiūras, kurias apibrėžiame kaip bet kokį tekstą, kuriame yra nuorodų į smurtą, seksualinio pobūdžio terminų, neteisėtą narkotikų vartojimą, seksualinę prievartą prieš vaikus, patyčias, neapykantą kurstančią kalbą, menkinančius ar šališkus teiginius, rasizmą, mizoginiją ar nepakankamai atstovaujamų grupių marginalizavimą. Visos šios turinio kategorijos yra aiškiai draudžiamos „Snapchat“.

Mūsų naujausia analizė parodė, kad tik 0,01 % „My AI“ atsakymų buvo pripažinti neatitinkančiais reikalavimų. Dažniausiai pasitaikančių neatitinkančių „My AI“ atsakymų pavyzdžiai – „My AI“ kartojo netinkamus žodžius, atsakydamas į „Snapchatter“ naudotojų klausimus.

Mes ir toliau naudosime šias pamokas tobulindami „My AI“. Šie duomenys taip pat padės mums įdiegti naują sistemą, skirtą apriboti piktnaudžiavimą „My AI“. Prie esamo įrankių rinkinio pridedame „Open AI“ moderavimo technologiją, kuri leis mums įvertinti potencialiai žalingo turinio sunkumą ir laikinai apriboti „Snapchatter“ naudotojų prieigą prie „My AI“, jei jie piktnaudžiaus paslauga.

Amžių atitinkanti patirtis

Mes rimtai žiūrime į savo atsakomybę kurti produktus ir patirtį, kuriuose pirmenybė teikiama saugumui ir amžiaus tinkamumui. Nuo „My AI“ paleidimo mes aktyviai dirbome, siekdami pagerinti jo atsakymus į netinkamas „Snapchatter“ naudotojų užklausas, nepriklausomai nuo „Snapchatter“ naudotojo amžiaus. Taip pat naudojame aktyvaus aptikimo įrankius, kad nuskaitytume „My AI“ pokalbius, ieškodami potencialiai neatitinkančio teksto ir imtumėmės veiksmų.

Taip pat įdiegėme naują amžiaus signalą „My AI“, naudojant „Snapchatter“ naudotojo gimimo datą, kad net jei „Snapchatter“ naudotojas niekada nepasakys „My AI“ savo amžiaus pokalbyje, pokalbių robotas nuolat atsižvelgs į jo amžių bendraudamas.

„My AI“ „Šeimos centre“

„Snapchat“ tėvams ir globėjams suteikia galimybę matyti, su kuriais draugais jų paaugliai bendrauja ir kaip neseniai, per mūsų programėlėje esantį „Šeimos centrą“. Artimiausiomis savaitėmis tėvams suteiksime daugiau informacijos apie jų paauglių bendravimą su „My AI“. Tai reiškia, kad tėvai galės naudotis „Šeimos centru“, kad pamatytų, ar jų paaugliai bendrauja su „My AI“ ir kaip dažnai. Norėdami naudotis „Šeimos centru“, tiek tėvai, tiek paauglys turi sutikti – o susidomėjusios šeimos gali sužinoti daugiau apie tai, kaip prisiregistruoti čia.

Mes ir toliau skatiname „Snapchatter“ naudotojus naudoti mūsų programėlėje esančius pranešimų teikimo įrankius, jei jie gauna nerimą keliančių atsakymų iš „My AI“, ir teikti mums atsiliepimus apie savo bendrą patirtį su produktu.

Mes nuolat stengiamės tobulinti „My AI“ ir nuolat vertinsime papildomas priemones, padedančias užtikrinti mūsų bendruomenės saugumą. Vertiname visus ankstyvuosius atsiliepimus apie „My AI“ ir esame įsipareigoję suteikti savo bendruomenei linksmą ir saugią patirtį.

Atgal į naujienas