Стремительный рост числа инструментов ИИ в последние годы создаёт и будет продолжать создавать новые возможности для творчества, обучения и общения. Однако эти технологии также привнесли новую динамику в существующие опасности в Интернете. Новые исследования показывают, что по мере роста числа людей, которые сталкиваются с изображениями и видеороликами сексуального характера, созданными с помощью искусственного интеллекта, осведомлённость о незаконности части такого контента по-прежнему остаётся проблемой.

Чтобы лучше понять особенности и поведение подростков и молодых людей на всех платформах и сервисах, компания Snap проводит ежегодное отраслевое исследование под названием «Индекс цифрового благополучия».  (Snap заказала исследование, которое охватывает опыт поколения Z в цифровых пространствах в целом, не фокусируясь на Snapchat.)  Хотя мы и планируем опубликовать полные результаты нашего исследования третьего года в связи с Международным днем безопасного Интернета в феврале 2025 года, мы хотим предоставить предварительный обзор некоторых ключевых результатов о том, как подростки, молодые люди и родители взаимодействуют и реагируют на контент сексуального характера, созданный генеративным ИИ. Сегодня мы публикуем эти результаты в свете привлечения внимания международного сообщества к сексуальной эксплуатации и жестокому обращению с детьми, а также в связи с нашим участием в Саммите по расширению прав и возможностей, посвящённому устранению вреда, связанного с созданным ИИ контентом сексуального характера, проходящим в Округе Колумбия на этой неделе. 

Например, в нашем исследовании, в котором мы опросили 9007 подростков, молодых людей и родителей подростков в 6 странах, ¹24 % заявили, что видели некоторые изображения или видео сексуального характера, созданные ИИ. Из числа тех, кто утверждал, что им попадался контент такого рода, только 2 % заявили, что на них были изображены лица моложе 18 лет.

Обнадёживает тот факт, что, когда люди видели контент такого рода, 9 из 10 предпринимали какие-либо действия: от блокировки или удаления контента (54 %) до разговоров с близкими друзьями или родными (52 %). Однако только 42 % заявили, что сообщили о таком контенте через платформу или сервис, где они его видели, или на горячую линию / линию помощи. Эти данные дают нам представление о более широкой тенденции снижения количества жалоб на проблемы, связанные с цифровой безопасностью. В предыдущей публикации мы указали на важность противодействия негативному восприятию жалоб, чтобы молодые люди не считали нормой определённый проблемный контент и поведение в Интернете и не приравнивали жалобы к сплетням. 

Ещё большую тревогу вызывает то, что более 40 % респондентов не дали чёткого ответа на вопрос о юридическом обязательстве платформ/сервисов сообщать об изображениях сексуального характера с участием несовершеннолетних, даже если такие изображения предназначены для шуток или мемов. И хотя большее число респондентов (более 70 %) признали незаконным использование технологий ИИ для создания фейкового контента сексуального характера или для сохранения, просмотра или обмена изображениями сексуального характера с участием несовершеннолетних, эти результаты указывают на то, что необходимо проделать значительную работу для ознакомления общественности с юридическими требованиями, связанными с таким типом контента.

Например, в США почти 40 % респондентов заявили, что считают законным использование технологий ИИ для создания фейковых изображений сексуального характера того или иного человека. И, как ни странно, в отрасли наблюдается тревожная тенденция с распространением контента такого рода: некоторые девушки-подростки чувствуют себя «обделёнными», если они не представлены на сгенерированных ИИ изображениях сексуального характера, которые создают и распространяют их сверстники. Эти тревожные данные ещё раз подчёркивают необходимость просвещения и повышения осведомлённости об этом конкретном риске в Интернете, когда доверенные взрослые и информированные сверстники играют активную роль в противодействии такому поведению.  

Постоянные обязательства Snap

В Snap мы постоянно инвестируем в ресурсы, инструменты и технологии, чтобы способствовать созданию более безопасного, здорового и позитивного опыта использования Snapchat и всей технологической экосистемы.

В некоторых случаях мы используем поведенческие «сигналы» для выявления потенциально противоправных действий, чтобы заблаговременно удалять недобросовестных пользователей и сообщать о них властям. Кроме того, как сервис, включающий в себя разговорный чат-бот на основе искусственного интеллекта, мы прилагаем все усилия, чтобы не допустить потенциального создания такого контента в Snapchat, а также предотвратить обмен и распространение материалов, которые могли быть созданы на других платформах. Мы принимаем к вероятно созданным с помощью ИИ изображениям сексуального характера с участием несовершеннолетних такие же меры, как и к «подлинным» изображениям сексуальной эксплуатации и насилия над детьми (CSEAI), удаляя контент, когда нам становится известно об этом, приостанавливая действие аккаунта нарушителя, и сообщаем об этом в Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC). Эти действия предпринимаются в дополнение к использованию и внедрению технологий, предназначенных для предотвращения материалов CSEAI, включая PhotoDNA (для обнаружения дубликатов известных незаконных изображений) и CSAI Match от Google (для обнаружения дубликатов известных незаконных видео). Недавно мы также начали использовать API для обеспечения безопасности контента от Google (для обнаружения новых, «никогда раннее не хэшированных» изображений в открытом контенте). Мы также сотрудничаем с Национальным центром по делам пропавших и эксплуатируемых детей (NCMEC) по вопросу использования уникальных цифровых подписей (или «хэшей») в 4700 жалобах, полученных ими в прошлом году, связанных с контентом о сексуальном насилии над детьми, который был создан с помощью GenAI. 

Мы сотрудничаем с правоохранительными органами, поддерживаем их в расследованиях и вкладываем значительные средства в нашу группу по вопросам доверия и безопасности и оперативную группу по правовым вопросам, которые работают круглосуточно и без выходных, чтобы обеспечить безопасность нашего сообщества по всему миру. Мы ежегодно проводим саммиты для правоохранительных органов США, чтобы убедиться, что сотрудники и агентства знают, как принимать соответствующие меры против любой незаконной деятельности, которая может иметь место на нашей платформе. 

Мы также продолжаем расширять наши встроенные инструменты информирования, которые включают в себя возможности для нашего сообщества сообщать о материалах с изображением наготы или контенте сексуального характера, в частности изображения сексуальной эксплуатации и насилия над детьми. Подача жалоб на проблемный контент и аккаунты крайне важна для того, чтобы помочь технологическим компаниям удалять злоумышленников из своих сервисов и предотвращать их дальнейшие действия до того, как они потенциально причинят вред другим. 

Совсем недавно мы добавили новые функции в наш набор инструментов для семейного центра, которые родители могут использовать, чтобы лучше понять, как их дети-подростки используют Snapchat, включая наш чат-бот на основе ИИ. Мы также представили новые ресурсы, которые помогут педагогам и администраторам школ понять, как их ученики используют Snapchat, и как эти ресурсы поддерживают их усилия по созданию безопасной и благоприятной среды для учащихся.

Мы продолжаем вкладывать средства в повышение осведомлённости общественности и снапчаттеров о вреде контента сексуального характера в Интернете. Наши встроенные эпизоды "Safety Snapshot" посвящены сексуальным рискам, включая такие темы, как онлайн-груминг и торговля детьми. Мы также были первой организацией, поддержавшей Know2Protect — кампанию Министерства внутренней безопасности США, направленную на обучение и расширение прав и возможностей молодых людей, родителей, доверенных взрослых и политиков по вопросам сексуального насилия над детьми в Интернете. 

Мы будем рады продолжить сотрудничество со всеми заинтересованными сторонами — родителями, молодыми людьми, педагогами и политиками — по этим важным для всего сообщества вопросам и надеемся, что результаты наших кроссплатформенных исследований помогут создать новые идеи и возможности, чтобы люди знали о существующих и новых угрозах в Интернете, а также о ресурсах, доступных для борьбы с ними. 

— Вираж Доши, руководитель отдела безопасности платформы