Шесть недель назад мы выпустили My AI — чат-бот, созданный с использованием технологии GPT от компании OpenAI. Мы начали размеренно, предложив My AI подписчикам Snapchat+, и за чуть более месяца мы узнали много нового. Например, мы знаем, что наиболее распространенными темами, по которым аудитория задает вопросы My AI, — это фильмы, спорт, игры, домашние животные и математика.

От людей, пытающихся обманом заставить чат-бота давать ответы, не соответствующие нашим рекомендациям, мы узнали о возможностях нецелевого использования наших ресурсов. В рамках нашей совместной работы по улучшению My AI мы хотим поделиться обновленной информацией о некоторых усовершенствованиях в области безопасности, недавно внедренных нами в основе полученного опыта, а также о новых инструментах, которые мы планируем внедрить.

Подход My AI к данным

Конфиденциальность всегда была центральным элементом миссии Snap - благодаря ей пользователи чувствуют себя более комфортно в контексте проявлений самовыражения, а также в общении с друзьями и семьей. В Snapchat мы стараемся обеспечить нашему сообществу ясность и понимание того, каким именно образом наши продукты используют данные, и как именно мы создаем различные функции, применяя в рамках разработки процессы обеспечения конфиденциальности. Например, применяемый нами способ обработки данных, связанных с разговорами между друзьями на Snapchat, отличается от способа обработки данных, связанных с вещательным контентом на Snapchat, к которому мы предъявляем более высокие требования, ввиду охвата ими большей аудитории, и предусматриваем его модерацию.

Однако, поскольку My AI - это чат-бот, а не реальный друг, мы намеренно относимся по-разному к различным связанным с ним категориям данных, особенно в контексте перспективы использования истории разговоров так, чтобы My AI был более веселым, полезным и безопасным. Перед тем, как разрешить пользователям Snapchat использовать My AI, мы показываем им вводное сообщение, в котором четко указано, что все сообщения с My AI, которые не будут ими удалены, сохраняются.

Возможность анализировать ранние сеансы взаимодействия с My AI помогла нам сделать вывод о том, какие ограничения являются эффективными, а какие необходимо усилить. В этой связи мы проводили анализ запросов и ответов чат-бота My AI, содержащих "несоответствующие" формулировки, то есть любой текст, ссылающийся на насилие, сексуально-мотивированные действия, употребление запрещенных наркотиков, сексуальное насилие над детьми, запугивание, проявления расизма, женоненавистничества, маргинализацию недостаточно представленных групп, а также содержащий язык вражды или же унизительные, или предвзятые высказывания. Все эти категории контента непосредственно запрещены в Snapchat.

По результатам нашего последнего анализа только 0,01% ответов My AI были признаны несоответствующими. Примерами наиболее распространенных "несоответствий" в ответах My AI на вопросы пользователей Snapchat были повторения чат-ботом My AI неуместных слов.

Мы и далее использовать полученные знания в рамках усовершенствования системы My AI. Полученные данные также помогут нам внедрить новую систему, ограничивающую неправомерное использование чат-бота My AI. Технологию модерации Open AI мы добавляем к существующему набору инструментов, а это позволит нам оценивать степень "серьезности" потенциально опасного контента и временно ограничивать доступ пользователей Snapchat, злоупотребляющих сервисом, к My AI.

Работа в области возрастного соответствия контента

Мы серьезно воспринимаем ответственность за разработку продуктов и впечатлений, отдавая при этом приоритет безопасности и соответствию контента возрасту. С самого начала работы чат-бота My AI мы активно работаем над усовершенствованием его реакций на неуместные запросы пользователей Snapchat, независимо от их возраста. Мы также сканируем взаимодействия с My AI с помощью инструментов проактивного обнаружения потенциально несоответствующего текста для принятия адекватных мер.

Мы также внедрили в чат-бот My AI новый "возрастной сигнал", использующий дату рождения пользователей Snapchat. Таким образом, даже если пользователь Snapchat не сообщает My AI о своем возрасте в разговоре, чат-бот все равно будет постоянно учитывать возраст пользователя, вступая с ним во взаимодействие.

My AI и Семейный центр

С помощью нашего Семейного центра Snapchat обеспечивает родителям и опекунам возможность знать, с кем и как давно общаются их дети и воспитанники-подростки. В ближайшие недели мы предоставим родителям больше информации о взаимодействии их детей подросткового возраста с My AI. Таким образом родители смогут использовать Family Center, чтобы узнать, общаются ли их подростки с My AI и как часто. Для того чтобы пользоваться Семейным центром, родителям и подросткам необходимо зарегистрироваться - если вам интересно, узнайте больше о регистрации здесь.

Мы по-прежнему призываем пользователей Snapchat работать с нашими инструментами отчетности, доступными в приложении, реагировать на получаемые подозрительные ответы от My AI, и оставлять отзывы о своем общем опыте использования продукта.

Мы ведем постоянную работу над совершенствованием чат-бота My AI, в том числе по оценке и принятию дополнительных мер для обеспечения безопасности нашего сообщества. Уже сейчас мы приветствуем любые отзывы о My AI, которые помогут нам на пути к обеспечению для нашего сообщества опыта веселого и безопасного общения.