Преди шест седмици пуснахмеMy AI, чатбот, създаден с GPT технологията на OpenAI. Започнахме бавно, като предоставихме My AI на абонатите на Snapchat+ и за малко повече от месец научихме много. Например, знаем, че някои от най-често срещаните теми, за които нашата общност е питала My AI, включват филми, спорт, игри, домашни любимци и математика.

Научихме също и за някои от възможностите за злоупотреба, много от които научихме от хора, които се опитват да подмамят чатбота да даде отговори, които не съответстват на нашите насоки. Като част от съвместната ни работа за подобряване на My AI, искаме да споделим актуална информация за някои от подобренията в безопасността, които наскоро въведохме в резултат на наученото от нас - заедно с новите инструменти, които планираме да внедрим.

Подходът на My AI към данните

Поверителността винаги е била в основата на мисията на Snap - тя помага на хората да се чувстват по-комфортно да изразяват себе си, когато общуват с приятели и семейство. В Snapchat се опитваме да предоставим на нашата общност яснота и контекст за това как нашите продукти използват данни и как изграждаме функции, използвайки процеси за поверителност по дизайн. Например, начинът, по който обработваме данни, свързани с разговори между приятели в Snapchat, е различен от начина, по който обработваме данни, свързани с излъчвано съдържание в Snapchat, за което поддържаме по-висок стандарт и изискваме да бъде модерирано, тъй като достига до голяма аудитория.

Въпреки това, тъй като My AI е чатбот, а не истински приятел, ние умишлено третираме свързаните данни по различен начин, защото можем да използваме историята на разговорите, за да продължим да правим My AI по-забавен, полезен и по-безопасен. Преди на потребителите в Snapchat да бъде разрешено да използват My AI, им показваме съобщение за въвеждане, което ясно показва, че всички съобщения с My AI ще бъдат запазени, освен ако не ги изтриете.

Възможността да прегледаме тези ранни взаимодействия с My AI ни помогна да определим кои предпазни мерки работят добре и кои трябва да бъдат засилени. За да помогнем при оценката, провеждаме прегледи на заявките и отговорите на My AI, които съдържат „несъответстващ“ език, който определяме като всеки текст, който включва препратки към насилие, сексуално изрични термини, употреба на незаконни наркотици, сексуално насилие над деца, тормоз, реч на омразата, унизителни или предубедени изявления, расизъм, женомразство или маргинализиране на слабо представени групи. Всички тези категории съдържание са изрично забранени в Snapchat.

Последният ни анализ установи, че само 0,01% от отговорите на My AI са счетени за несъответстващи. Примери за най-често срещаните несъответстващи отговори на My AI включват My AI, повтарящ неподходящи думи в отговор на въпроси на потребители в Snapchat.

Ще продължим да използваме тези научени уроци, за да подобрим My AI. Тези данни също ще ни помогнат да внедрим нова система за ограничаване на злоупотребата с My AI. Добавяме технологията за модериране на Open AI към съществуващия ни набор от инструменти, което ще ни позволи да оценим сериозността на потенциално вредно съдържание и временно да ограничим достъпа на потребители в Snapchat до My AI, ако злоупотребят с услугата.

Преживявания, подходящи за възрастта

Приемаме сериозно отговорността си да проектираме продукти и преживявания, които дават приоритет на безопасността и съответствието с възрастта. От стартирането на My AI работим енергично за подобряване на отговорите му на неподходящи заявки от потребител в Snapchat, независимо от възрастта на потребителя в Snapchat. Използваме също така проактивни инструменти за откриване, за да сканираме разговорите в My AI за потенциално несъответстващ текст и да предприемаме действия.

Внедрихме и нов сигнал за възраст за My AI, който използва рождената дата на потребителя в Snapchat, така че дори ако потребител в Snapchat никога не каже на My AI възрастта си в разговор, чатботът постоянно ще взема предвид възрастта му, когато участва в разговор.

My AI в Център за семейството

Snapchat предлага на родителите и настойниците видимост за това с кои приятели общуват техните тийнейджъри и колко скоро, чрез нашия Център за семейството в приложението. През следващите седмици ще предоставим на родителите повече информация за взаимодействията на техните тийнейджъри с My AI. Това означава, че родителите ще могат да използват Център за семейството, за да видят дали техните тийнейджъри общуват с My AI и колко често. За да използвате Център за семейството, и родителят, и тийнейджърът трябва да се включат — а заинтересованите семейства могат да научат повече за това как да се включат в процеса на регистриранетук.

Продължаваме да насърчаваме потребителите в Snapchat да използват нашите инструменти за докладване в приложението, ако получат някакви притеснителни отговори от My AI, и да ни изпращат обратна връзка за цялостното си преживяване с продукта.

Постоянно работим за подобряване на My AI и непрекъснато ще оценяваме допълнителни мерки, за да помогнем за безопасността на нашата общност. Оценяваме цялата ранна обратна връзка за My AI и се ангажираме да осигурим забавно и безопасно изживяване за нашата общност.