Pred šiestimi týždňami sme zaviedli My AI, chatbota postaveného na technológii GPT od OpenAI. Začali sme pomaly poskytovaním My AI predplatiteľom služby Snapchat+ a za niečo vyše mesiaca sme sa toho veľa naučili. Vieme napríklad, že medzi najčastejšie témy, na ktoré sa naša komunita pýtala My AI, patria filmy, šport, hry, domáce zvieratá a matematika.

Dozvedeli sme sa aj o niektorých možnostiach zneužitia, z ktorých mnohé sme sa dozvedeli od ľudí, ktorí sa snažili chatbota oklamať, aby poskytoval odpovede, ktoré nie sú v súlade s našimi usmerneniami. V rámci našej spoločnej práce na zlepšení My AI sa chceme podeliť o aktuálne informácie o niektorých vylepšeniach bezpečnosti, ktoré sme nedávno zaviedli na základe našich poznatkov — spolu s novými nástrojmi, ktoré plánujeme zaviesť. 

Prístup My AI k údajom 

Súkromie bolo vždy ústredným bodom poslania spoločnosti Snap — pomáha ľuďom cítiť sa pohodlnejšie pri vyjadrovaní sa pri komunikácii s priateľmi a rodinou. V rámci Snapchatu sa snažíme našej komunite poskytnúť jasnosť a kontext o tom, ako naše produkty používajú údaje a ako vytvárame funkcie pomocou procesov ochrany súkromia už v štádiu návrhu. Napríklad spôsob, akým narábame s údajmi súvisiacimi s konverzáciami medzi priateľmi na Snapchate, sa líši od spôsobu, akým narábame s údajmi súvisiacimi s vysielaným obsahom na Snapchate, na ktorý kladieme vyššie nároky a vyžadujeme jeho moderovanie, pretože oslovuje veľké publikum. 

Keďže My AI je chatbot a nie skutočný priateľ, zámerne sme s príslušnými údajmi zaobchádzali inak, pretože históriu konverzácií môžeme použiť na to, aby sme My AI naďalej robili zábavnejším, užitočnejším a bezpečnejším. Predtým, ako môžu Snapchatteri používať My AI, zobrazíme im úvodnú správu, v ktorej je jasne uvedené, že všetky správy s My AI sa uchovávajú, pokiaľ ich neodstránite. 

Možnosť preskúmať tieto skoré interakcie s My AI nám pomohla identifikovať, ktoré ochranné mechanizmy fungujú dobre a ktoré je potrebné posilniť. Aby sme to mohli posúdiť, vykonávame kontroly dopytov a odpovedí My AI, ktoré obsahujú „nevyhovujúci“ jazyk, ktorý definujeme ako akýkoľvek text, ktorý obsahuje odkazy na násilie, sexuálne explicitné výrazy, užívanie nelegálnych drog, sexuálne zneužívanie detí, šikanovanie, nenávistné prejavy, hanlivé alebo neobjektívne vyhlásenia, rasizmus, mizogýniu alebo marginalizáciu nedostatočne zastúpených skupín. Všetky tieto kategórie obsahu sú na Snapchate výslovne zakázané.

Naša najnovšia analýza zistila, že len 0,01 % odpovedí My AI bolo považovaných za nevyhovujúce. Príklady najčastejších nevyhovujúcich odpovedí My AI zahŕňali opakovanie nevhodných slov v odpovedi na otázky Snapchatterov.

Tieto poznatky budeme naďalej využívať na zlepšenie My AI. Tieto údaje nám tiež pomôžu nasadiť nový systém na obmedzenie zneužívania My AI. Do našej existujúcej sady nástrojov pridávame technológiu moderovania Open AI, ktorá nám umožní posúdiť závažnosť potenciálne škodlivého obsahu a dočasne obmedziť prístup Snapchatterov k My AI, ak službu zneužijú. 

Zážitky primerané veku 

Našu zodpovednosť navrhovať produkty a zážitky, ktoré uprednostňujú bezpečnosť a primeranosť veku, berieme vážne. Od spustenia My AI sme usilovne pracovali na zlepšení jeho odpovedí na nevhodné požiadavky Snapchattera bez ohľadu na vek Snapchattera. Používame tiež proaktívne detekčné nástroje na skenovanie konverzácií My AI na potenciálne nevyhovujúci text a prijímame opatrenia.

Zaviedli sme tiež nový vekový signál pre My AI využívajúci dátum narodenia Snapchattera, takže aj keď Snapchatter nikdy v konverzácii nepovie My AI svoj vek, chatbot bude pri konverzácii dôsledne brať do úvahy jeho vek. 

My AI v Rodinnom centre

Snapchat ponúka rodičom a opatrovníkom prehľad o tom, s ktorými priateľmi ich tínedžeri komunikujú a ako nedávno, prostredníctvom nášho Rodinného centra v aplikácii. V najbližších týždňoch poskytneme rodičom lepší prehľad o interakciách ich tínedžerov s My AI. To znamená, že rodičia budú môcť pomocou Rodinného centra zistiť, či ich tínedžeri komunikujú s My AI a ako často. Aby bolo možné používať Rodinné centrum, musia sa prihlásiť rodič aj tínedžer — a zainteresované rodiny sa môžu dozvedieť viac o tom, ako sa registrovať tu. 

Naďalej povzbudzujeme Snapchatterov, aby používali naše nástroje na nahlasovanie v aplikácii, ak dostanú akékoľvek znepokojujúce odpovede od My AI, a aby nám poslali spätnú väzbu o svojich celkových skúsenostiach s produktom. 

Neustále pracujeme na zlepšovaní My AI a budeme priebežne vyhodnocovať ďalšie opatrenia, ktoré pomôžu udržať našu komunitu v bezpečí. Ceníme si všetku skorú spätnú väzbu na My AI a sme odhodlaní poskytovať našej komunite zábavný a bezpečný zážitok.