För sex veckor sedan lanserade vi My AI, en chatbot som bygger på OpenAI’s GPT-teknik. Vi började långsamt med att erbjuda My AI till Snapchat+-prenumeranter och på drygt en månad har vi lärt oss mycket. Vi vet till exempel att några av de vanligaste ämnena som vår community har frågat My AI om inkluderar filmer, sport, spel, husdjur och matte.

Vi har också lärt oss om vissa möjligheter till missbruk, varav många kommer från personer som försöker lura chatboten att ge svar som inte överensstämmer med våra riktlinjer. Som en del av vårt gemensamma arbete för att förbättra My AI vill vi dela med oss av en uppdatering om några av de säkerhetsförbättringar som vi nyligen har infört som ett resultat av våra lärdomar - tillsammans med nya verktyg som vi planerar att implementera.

Datahantering i My AI

Sekretess har alltid varit en central del av Snaps uppdrag – det hjälper människor att känna sig mer bekväma med att uttrycka sig när de kommunicerar med vänner och familj. På Snapchat försöker vi ge vår gemenskap klarhet och sammanhang om hur våra produkter använder data och hur vi bygger funktioner med hjälp av processer för integritetsskydd genom design. Till exempel skiljer sig vårt sätt att hantera uppgifter när det rör sig om samtal mellan vänner på Snapchat från hur vi hanterar uppgifter om innehåll som sänds på Snapchat, som vi ställer högre krav på och som måste modereras eftersom det når en stor publik.

Men eftersom My AI är en chatbot och inte en riktig vän har vi medvetet behandlat associerade data på ett annat sätt, eftersom vi kan använda konversationshistoriken för att fortsätta göra My AI roligare, mer användbar och säkrare. Innan Snapchattare får tillgång till My AI visar vi dem ett introduktionsmeddelande som gör det klart att alla meddelanden med My AI kommer att behållas om du inte raderar dem.

Att kunna granska dessa tidiga interaktioner med My AI har hjälpt oss att identifiera vilka skyddsräcken som fungerar bra och vilka som behöver göras starkare. För att hjälpa till att analysera detta har vi genomfört granskningar av frågor och svar från My AI som innehåller "avvikande" språk, vilket vi definierar som text som innehåller referenser till våld, sexuellt explicita uttryck, användning av illegala droger, sexuellt utnyttjande av barn, mobbning, hatpropaganda, nedsättande eller fördomsfulla uttalanden, rasism, kvinnohat eller marginalisering av underrepresenterade grupper. Alla dessa kategorier av innehåll är uttryckligen förbjudna på Snapchat.

Vår senaste analys visade att endast 0,01 % av My AI:s svar ansågs avvikande. Exempel på de vanligaste avvikande svar från My AI var att My AI upprepade olämpliga ord som svar på Snapchattares frågor.

Vi kommer att fortsätta att använda dessa lärdomar för att förbättra My AI. Med hjälp av dessa uppgifter kommer vi också införa ett nytt system för att begränsa missbruk av My AI. Vi lägger till modereringsteknik från Open AI till vår befintliga verktygslåda, vilket gör det möjligt för oss att bedöma hur allvarligt potentiellt skadligt innehåll är och tillfälligt begränsa Snapchattares tillgång till My AI om de missbrukar tjänsten.

Åldersanpassade upplevelser

Vi tar vårt ansvar för att designa produkter och erfarenheter som prioriterar säkerhet och åldersanpassning på allvar. Sedan My AI lanserades har vi arbetat hårt för att förbättra svaren på olämpliga frågor från Snapchattare, oavsett Snapchattarens ålder. Vi använder också proaktiva detekteringsverktyg för att skanna My AI konversationer efter potentiellt avvikande text och vidta åtgärder.

Vi har också implementerat en ny ålderssignal för My AI som använder en Snapchattares födelsedatum, så att även om en Snapchattare aldrig berättar för My AI om sin ålder i en konversation kommer chatbotten alltid att ta hänsyn till deras ålder när den deltar i konversationen.

My AI i Family Center

Snapchat erbjuder föräldrar och vårdgivare insyn i vilka vänner deras tonåringar kommunicerar med och hur nyligen, genom vårt Family Center i appen. Under de kommande veckorna kommer vi att ge föräldrar mer insyn i deras tonåringars interaktioner My AI. Detta innebär att föräldrar kommer att kunna använda Family Center för att se om deras tonåringar kommunicerar med My AI och hur ofta. För att kunna använda Family Center måste både en förälder och en tonåring välja att delta. Familjer som är intresserade kan lära sig mer om hur man registrerar sig här.

Vi fortsätter att uppmuntra Snapchattare att använda våra rapporteringsverktyg i appen om de får några oroande svar från My AI och skicka in feedback till oss om deras övergripande erfarenheter med produkten.

Vi arbetar ständigt med att förbättra My AI och vi kommer kontinuerligt att utvärdera ytterligare åtgärder för att hålla vår community trygg. Vi uppskattar all tidig feedback om My AI och vi är fast beslutna att tillhandahålla en rolig och trygg upplevelse för vår community.