Před šesti týdny jsme zavedli My AI, chatbota postaveného na technologii GPT od OpenAI. Začali jsme pomalu tím, že jsme My AI poskytli předplatitelům Snapchat+ a za něco málo přes měsíc jsme se toho hodně naučili. Víme například, že mezi nejčastější témata, na která se naše komunita My AI ptala, patří filmy, sport, hry, domácí mazlíčci a matematika.

Dozvěděli jsme se také o některých možnostech zneužití, z nichž mnohé jsme se dozvěděli od lidí, kteří se snažili chatbota přimět k odpovědím, které neodpovídají našim pokynům. V rámci naší společné práce na vylepšení My AI se chceme podělit o aktuální informace o některých vylepšeních zabezpečení, která jsme nedávno zavedli na základě našich poznatků – spolu s novými nástroji, které plánujeme implementovat.

Přístup My AI k datům

Soukromí bylo vždy ústředním bodem poslání společnosti Snap – pomáhá lidem cítit se pohodlněji při vyjadřování se při komunikaci s přáteli a rodinou. V rámci Snapchatu se snažíme naší komunitě poskytnout srozumitelnost a kontext o tom, jak naše produkty využívají data a jak vytváříme funkce pomocí procesů ochrany soukromí již od návrhu. Například způsob, jakým nakládáme s daty souvisejícími s konverzacemi mezi přáteli na Snapchatu, se liší od způsobu, jakým nakládáme s daty souvisejícími s vysílaným obsahem na Snapchatu, který držíme na vyšší úrovni a vyžadujeme jeho moderování, protože oslovuje velké publikum.

Vzhledem k tomu, že My AI je chatbot a ne skutečný přítel, záměrně jsme s přidruženými daty zacházeli odlišně, protože jsme schopni použít historii konverzací k tomu, abychom My AI nadále dělali zábavnějším, užitečnějším a bezpečnějším. Než je Snapchatterům povoleno používat My AI, zobrazíme jim úvodní zprávu, která jasně říká, že všechny zprávy s My AI budou uchovány, pokud je nesmažete.

Možnost zkontrolovat tyto rané interakce s My AI nám pomohla identifikovat, která ochranná opatření fungují dobře a která je třeba posílit. Abychom to mohli posoudit, provádíme kontroly dotazů a odpovědí My AI, které obsahují „nevyhovující“ jazyk, který definujeme jako jakýkoli text, který obsahuje odkazy na násilí, sexuálně explicitní výrazy, užívání nelegálních drog, sexuální zneužívání dětí, šikanu, nenávistné projevy, hanlivá nebo zaujatá prohlášení, rasismus, misogynii nebo marginalizaci nedostatečně zastoupených skupin. Všechny tyto kategorie obsahu jsou na Snapchatu výslovně zakázány.

Naše nejnovější analýza zjistila, že pouze 0,01 % odpovědí My AI bylo považováno za nevyhovující. Příklady nejčastějších nevyhovujících odpovědí My AI zahrnovaly My AI opakující nevhodná slova v reakci na otázky Snapchatterů.

Tyto poznatky budeme i nadále využívat ke zlepšování My AI. Tato data nám také pomohou nasadit nový systém pro omezení zneužívání My AI. Do naší stávající sady nástrojů přidáváme technologii moderování Open AI, která nám umožní posoudit závažnost potenciálně škodlivého obsahu a dočasně omezit přístup Snapchatterů k My AI, pokud službu zneužijí.

Zkušenosti přiměřené věku

Bereme vážně naši odpovědnost navrhovat produkty a zážitky, které upřednostňují bezpečnost a přiměřenost věku. Od spuštění My AI jsme usilovně pracovali na zlepšení jeho odpovědí na nevhodné požadavky Snapchatterů bez ohledu na věk Snapchattera. Používáme také proaktivní detekční nástroje ke skenování konverzací My AI na potenciálně nevyhovující text a přijímáme opatření.

Implementovali jsme také nový věkový signál pro My AI využívající datum narození Snapchattera, takže i když Snapchatter nikdy neřekne My AI svůj věk v konverzaci, chatbot bude při konverzaci důsledně brát jeho věk v úvahu.

My AI v Rodinném centru

Snapchat nabízí rodičům a pečovatelům přehled o tom, se kterými přáteli jejich dospívající komunikují a jak nedávno, a to prostřednictvím našeho Rodinného centra v aplikaci. V nadcházejících týdnech poskytneme rodičům lepší přehled o interakcích jejich dospívajících s My AI. To znamená, že rodiče budou moci pomocí Rodinného centra zjistit, zda jejich dospívající komunikují s My AI a jak často. Aby bylo možné Rodinné centrum používat, musí se přihlásit rodič i dospívající – a zúčastněné rodiny se mohou dozvědět více o tom, jak probíhá registrace zde.

Nadále vyzýváme Snapchattery, aby používali naše nástroje pro hlášení v aplikaci, pokud obdrží jakékoli znepokojivé odpovědi od My AI, a aby nám zasílali zpětnou vazbu o svých celkových zkušenostech s produktem.

Neustále pracujeme na vylepšování My AI a budeme neustále vyhodnocovat další opatření, která pomohou udržet naši komunitu v bezpečí. Vážíme si veškeré rané zpětné vazby na My AI a jsme odhodláni poskytovat naší komunitě zábavný a bezpečný zážitek.