For seks uker siden lanserte vi My AI, en chatbot som er bygget med OpenAIs GPT-teknologi. Vi startet rolig med å gi My AI til Snapchat+-abonnenter, og på litt over en måned har vi lært mye. Vi kjenner for eksempel til noen av de vanligste temaene fellesskapet vårt har spurt My AI om, og det er blant annet filmer, idrett, spill, kjæledyr og matematikk.

Vi har også blitt kjent med potensialet for misbruk, og mange av dem har vi lært fra mennesker som prøver å lure chatboten til å gi svar som ikke er i samsvar med retningslinjene våre. Som en del av det felles arbeidet vårt med å forbedre My AI, ønsker vi å dele en oppdatering om noen av sikkerhetsforbedringene vi nylig har satt i gang som et resultat av erfaringene våre - sammen med nye verktøy vi planlegger å implementere.

My AIs tilnærming til data

Personvern har alltid vært en sentral del av oppdraget til Snap - det gjør at mennesker føler seg mer komfortable med å uttrykke seg når de kommuniserer med familie og venner. Over hele Snapchat prøver vi å gi fellesskapet vårt tydelighet og kontekst om hvordan produktene våre bruker data, og hvordan vi lager funksjoner ved å bruke en prosess for personvern ved design. Måten vi håndterer data relatert til samtaler mellom venner på Snapchat er for eksempel forskjellig fra hvordan vi håndterer data relatert til kringkastet innhold på Snapchat, som vi holder til en høyere standard og krever å bli moderert og tilpasset fordi det når ut til et stort publikum.

Men siden My AI er en chatbot og ikke en ekte venn, har vi imidlertid vært bevisst på å behandle de tilknyttede dataene annerledes, fordi vi kan bruke samtalehistorikken til å fortsette med å gjøre My AI gøyere, mer nyttig og tryggere. Før Snapchattere får lov til å bruke My AI, viser vi dem en velkomst-melding som forklarer at alle samtaler med My AI vil lagres med mindre du sletter dem.

Å se gjennom disse tidlige interaksjonene med My AI har hjulpet oss med å finne ut hvilke rammeverk som fungerer bra og hvilke som må gjøres sterkere. For å hjelpe til med å vurdere dette har vi gått gjennom My AI-spørsmålene og -svarene som inneholder språk som er "ikke-samsvarende", som vi definerer som enhver tekst som inkluderer referanser til vold, seksuelt eksplisitte termer, ulovlig narkotikabruk, seksuelt misbruk av barn, mobbing, hatefulle ytringer, nedsettende eller partiske uttalelser, rasisme, kvinnehat eller marginalisering av underrepresenterte grupper. Alle disse innholdskategoriene er uttrykkelig forbudt på Snapchat.

Vår nyeste analyse fant ut at bare 0,01 % av svarene til My AI ble ansett som ikke-samsvarende. Eksempler på de vanligste ikke-samsvarende svarene til My AI inkluderer My AI som gjentar upassende ord som svar på spørsmål fra Snapchattere.

Vi vil fortsette med å bruke disse lærdommene til å forbedre My AI. Disse dataene vil også hjelpe oss med å distribuere et nytt system for å begrense misbruk av My AI. Vi legger til Open AIs modereringsteknologi til vårt eksisterende verktøysett, som gjør det mulig for oss å vurdere alvorlighetsgraden av potensielt skadelig innhold og midlertidig begrense Snapchatters tilgang til My AI hvis de misbruker tjenesten.

Alderstilpassede opplevelser 

Vi tar ansvaret vårt på alvor ved å designe produkter og opplevelser som prioriterer sikkerhet og aldersegnethet. Siden lanseringen av My AI har vi jobbet hardt for å forbedre svarene på upassende Snapchat-forespørsler, uavhengig av alderen til Snapchattere. Vi bruker også proaktive deteksjonsverktøy til å skanne My AI-samtaler for potensielt avvikende tekst, og iverksette tiltak.

Vi har også implementert et nytt alderssignal til My AI ved å bruke fødselsdatoen til en Snapchatter, slik at selv om en Snapchatter aldri sier alderen sin til My AI i en samtale, vil chatboten konsekvent ta hensyn til alderen deres når de deltar i samtalen.

My AI i Familiesenteret

Snapchat gir foreldre og omsorgspersoner innsyn i hvilke venner tenåringene deres kommuniserer med, og hvor nylig det ble gjort, via Familiesenteret i appen. I de kommende ukene vil vi gi foreldre mer innsikt i tenåringenes interaksjoner med My AI. Dette betyr at foreldre vil kunne bruke Familiesenteret til å se om tenåringene deres kommuniserer med My AI, og hvor ofte. For å bruke Familiesenteret må både foreldre og en tenåring melde seg på - og familiene som er interessert kan lære mer om hvordan man registrerer seg her. 

Vi fortsetter med å oppfordre Snapchattere til å bruke verktøyene for rapportering i appen hvis de mottar bekymrende svar fra My AI, og å sende tilbakemelding til oss om deres generelle erfaringer med produktet.

Vi jobber kontinuerlig med å forbedre My AI, og vi vil kontinuerlig evaluere ytterligere tiltak for å bidra til å holde fellesskapet vårt trygt. Vi setter pris på alle de tidligere tilbakemeldingene om My AI, og vi har forpliktet oss til å gi fellesskapet vårt en morsom og trygg opplevelse.