Hat héttel ezelőtt elindítottuk a My AI-t, egy OpenAI GPT technológiájával épített chatbotot. Lassan kezdtük, a My AI-t a Snapchat+ előfizetőknek biztosítottuk, és alig több mint egy hónap alatt sokat tanultunk. Tudjuk például, hogy a közösségünk által a My AI-nak leggyakrabban feltett témák között szerepelnek a filmek, a sport, a játékok, a háziállatok és a matematika.

Megismertük a visszaélések néhány lehetőségét is, amelyek közül sokat azoktól az emberektől tanultunk, akik megpróbálták rávenni a chatbotot, hogy az irányelveinknek nem megfelelő válaszokat adjon. A My AI fejlesztésére irányuló közös munkánk részeként szeretnénk megosztani egy frissítést a tanulságaink eredményeként a közelmúltban bevezetett biztonsági fejlesztésekről – valamint az általunk bevezetni tervezett új eszközökről. 

A My AI adatkezelési megközelítése 

Az adatvédelem mindig is központi szerepet játszott a Snap küldetésében – segít az embereknek, hogy kényelmesebben fejezzék ki magukat, amikor barátaikkal és családjukkal kommunikálnak. A Snapchat egészében igyekszünk közösségünk számára egyértelműséget és kontextust biztosítani arról, hogy termékeink hogyan használják az adatokat, és hogyan építünk funkciókat a beépített adatvédelmi folyamatok segítségével. Például a Snapchat-en a barátok közötti beszélgetésekkel kapcsolatos adatok kezelése eltér a Snapchat-en sugárzott tartalmakkal kapcsolatos adatok kezelésétől, amelyeket magasabb szintű követelményeknek vetünk alá, és moderálást igényelnek, mivel nagy közönséget érnek el. 

Mivel azonban a My AI egy chatbot, és nem egy igazi barát, szándékosan kezeltük a kapcsolódó adatokat másképp, mert a beszélgetési előzményeket arra tudjuk használni, hogy a My AI-t továbbra is szórakoztatóbbá, hasznosabbá és biztonságosabbá tegyük. Mielőtt a snapchatelők használhatnák a My AI-t, egy bevezető üzenetet mutatunk nekik, amely egyértelművé teszi, hogy a My AI-jal folytatott összes üzenetet megőrizzük, hacsak nem törlöd őket. 

A My AI-jal folytatott korai interakciók áttekintése segített azonosítani, hogy mely védőkorlátok működnek jól, és melyeket kell megerősíteni. Ennek felmérésére a My AI olyan lekérdezéseit és válaszait vizsgáltuk, amelyek „nem megfelelő” nyelvezetet tartalmaznak, amelyet úgy definiálunk, mint bármely olyan szöveget, amely erőszakra, szexuálisan explicit kifejezésekre, tiltott kábítószer-használatra, gyermekek szexuális bántalmazására, zaklatásra, gyűlöletbeszédre, becsmérlő vagy elfogult kijelentésekre, rasszizmusra, nőgyűlöletre vagy alulreprezentált csoportok marginalizálására utal. A tartalom ezen kategóriái mindegyike kifejezetten tilos a Snapchat-en.

Legutóbbi elemzésünk szerint a My AI válaszainak mindössze 0,01%-a minősült nem megfelelőnek. A leggyakoribb nem megfelelő My AI válaszok között szerepelt például, hogy a My AI a snapchatelők kérdéseire válaszolva nem megfelelő szavakat ismételt.

Továbbra is felhasználjuk ezeket a tanulságokat a My AI fejlesztésére. Ezek az adatok segítenek egy új rendszer bevezetésében is, amely korlátozza a My AI-jal való visszaélést. Meglévő eszköztárunkat kiegészítjük az Open AI moderálási technológiájával, amely lehetővé teszi számunkra, hogy felmérjük a potenciálisan káros tartalmak súlyosságát, és ideiglenesen korlátozzuk a snapchatelők hozzáférését a My AI-hoz, ha visszaélnek a szolgáltatással. 

Életkornak megfelelő élmények 

Komolyan vesszük a felelősségünket, hogy olyan termékeket és élményeket tervezzünk, amelyek a biztonságot és az életkornak való megfelelést helyezik előtérbe. A My AI elindítása óta erőteljesen dolgozunk azon, hogy javítsuk a nem megfelelő snapchatelői kérésekre adott válaszait, függetlenül a snapchatelő életkorától. Proaktív észlelési eszközöket is használunk a My AI-beszélgetések átvizsgálására a potenciálisan nem megfelelő szövegek felderítése és a szükséges intézkedések megtétele érdekében.

Bevezettünk egy új életkori jelzést is a My AI számára, amely a snapchatelő születési dátumát használja, így még ha egy snapchatelő soha nem is mondja el a My AI-nak a korát egy beszélgetés során, a chatbot következetesen figyelembe veszi a korát a beszélgetés során. 

My AI a Családi központban

A Snapchat az alkalmazáson belüli Családi központon keresztül betekintést nyújt a szülőknek és a gondviselőknek abba, hogy tinédzsereik mely barátaikkal és milyen gyakran kommunikálnak. A következő hetekben a szülőknek több betekintést nyújtunk a tinédzsereik My AI-jal folytatott interakcióiba. Ez azt jelenti, hogy a szülők a Családi központ segítségével láthatják, hogy tinédzsereik kommunikálnak-e a My AI-jal, és milyen gyakran. A Családi központ használatához a szülőnek és a tinédzsernek is hozzá kell járulnia – az érdeklődő családok pedig többet megtudhatnak a feliratkozás módjáról itt. 

Továbbra is arra bátorítjuk a snapchatelőket, hogy használják az alkalmazáson belüli jelentési eszközeinket, ha bármilyen aggasztó választ kapnak a My AI-tól, és küldjenek visszajelzést a termékkel kapcsolatos általános tapasztalataikról. 

Folyamatosan dolgozunk a My AI fejlesztésén, és folyamatosan értékeljük a további intézkedéseket, hogy közösségünket biztonságban tartsuk. Nagyra értékeljük a My AI-jal kapcsolatos korai visszajelzéseket, és elkötelezettek vagyunk amellett, hogy szórakoztató és biztonságos élményt nyújtsunk közösségünknek.