O rápido crescimento das ferramentas de IA nos últimos anos criou e continuará a criar novas oportunidades de criatividade, aprendizado e conexão. No entanto, a tecnologia também introduziu uma nova dinâmica aos riscos online existentes. Uma nova pesquisa mostra que, à medida que o número de pessoas que encontram imagens e vídeos gerados por IA com carga sexual online continua a crescer, a conscientização sobre a ilegalidade de parte desse conteúdo continua a ser um desafio.

Para entender melhor as atitudes e comportamentos de adolescentes e jovens adultos em todas as plataformas e serviços, a Snap realiza e compartilha pesquisas anuais de todo o setor chamadas de nosso Índice de Bem-Estar Digital.  (A Snap encomendou a pesquisa, mas ela abrange as experiências da Geração Z em espaços digitais de forma geral, sem foco específico no Snapchat.)  Embora estejamos planejando divulgar os resultados completos do nosso estudo do terceiro ano em conjunto com o Dia Internacional da Internet Segura, em fevereiro de 2025, queremos antecipar algumas descobertas importantes sobre como adolescentes, jovens adultos e até mesmo pais estão se envolvendo e reagindo ao conteúdo sexual generativo baseado em IA. Estamos fazendo isso hoje, tendo em vista o foco global na exploração e abuso sexual infantil esta semana, e em conjunto com nossa participação no Empowering Voices DC Summit, que se concentrou em abordar os danos associados ao conteúdo sexual gerado por IA. 

Por exemplo, em nosso estudo, que entrevistou 9.007 adolescentes, jovens adultos e pais de adolescentes em 6 países ¹, 24% disseram que viram algum tipo de imagens ou vídeos gerados por IA que eram de natureza sexual. Dos que afirmaram ter visto esse tipo de conteúdo, apenas 2% disseram que as imagens eram de alguém com menos de 18 anos.

De forma encorajadora, quando as pessoas viram esse tipo de conteúdo, 9 em cada 10 tomaram alguma ação, desde bloquear ou excluir o conteúdo (54%) até falar com amigos ou familiares de confiança (52%). No entanto, apenas 42% disseram que denunciaram o conteúdo à plataforma ou serviço onde o viram, ou a uma linha direta/linha de ajuda. Esse insight segue uma tendência maior de taxas de denúncia menores sobre problemas relacionados à segurança digital em geral. Destacamos em um post anterior, a importância de combater as percepções negativas sobre denunciar, para que os jovens não normalizem a exposição a determinado conteúdo e conduta problemáticos online ou equipararem denúncia à intriga e à tagarelice. 

Ainda mais alarmante é que mais de 40% dos entrevistados não tiveram clareza sobre a obrigação legal das plataformas/serviços de denunciar imagens sexuais de menores, mesmo que tais imagens sejam piadas ou memes. E, embora um número maior (70%+) reconheça que era ilegal usar a tecnologia de IA para criar conteúdo sexual falso de uma pessoa ou reter, visualizar ou compartilhar imagens sexuais de menores, essas descobertas indicam que há um trabalho considerável a ser feito para garantir que o público em geral esteja ciente dos requisitos legais relacionados a esse tipo de conteúdo.

Nos EUA, por exemplo, quase 40% dos entrevistados disseram acreditar que é legal usar a tecnologia de IA para criar imagens sexuais falsas de uma pessoa. E, de forma anedótica, ouvimos de colegas do setor sobre uma tendência preocupante: com a proliferação desse tipo de conteúdo, algumas meninas adolescentes estão se sentindo “deixadas de fora” se não forem apresentadas em imagens sexuais manipuladas por IA que seus colegas estejam criando e compartilhando de forma inadequada. Esse ponto perturbador ressalta ainda mais a necessidade de educar e aumentar a conscientização sobre esse risco online específico, com adultos de confiança e colegas informados desempenhando um papel ativo no desencorajamento desse tipo de comportamento.  

Compromisso contínuo da Snap

Na Snap, estamos investindo continuamente em recursos, ferramentas e tecnologia que auxiliem na promoção de experiências mais seguras, saudáveis e positivas no Snapchat e em todo o ecossistema de tecnologia.

Em alguns casos, usamos “sinais” comportamentais para identificar atividade potencialmente ilegal para assim podermos remover, proativamente, pessoas mal-intencionadas e denunciá-las às autoridades. Além disso, como um serviço que inclui um chatbot de IA conversacional, nos esforçamos para estar mais vigilantes na prevenção da potencial geração de tal material no Snapchat, bem como nos protegermos contra o compartilhamento e distribuição de material que possa ter sido gerado em outras plataformas. Tratamos imagens sexuais de menores, suspeitas de terem sido geradas por IA, da mesma forma que imagens de exploração e abuso sexual infantil “autênticas” (CSEAI), removendo o conteúdo assim que tomamos conhecimento, suspendendo a conta em violação, e denunciamos isto ao Centro Nacional de Crianças Desaparecidas e Exploradas (NCMEC). Isto se agrega ao processo de alavancar e implantar uma tecnologia projetada para evitar a propagação de CSEAI, incluindo PhotoDNA (para detectar duplicadas de imagens ilegais conhecidas) e CSAI Match do Google (para detectar duplicadas de vídeos ilegais conhecidos). Também começamos recentemente a usar a API de Segurança de Conteúdo do Google (a fim de ajudar a detectar imagens novas e “nunca em hash" no conteúdo público). Também nos envolvemos com o NCMEC para aproveitar as assinaturas digitais únicas (ou “hashes”) das 4.700 denúncias que eles receberam no ano passado relacionadas a material de abuso sexual infantil que envolveu o GenAI. 

Nós colaboramos com as autoridades policiais, apoiando suas investigações e investimos fortemente em nossas equipes globais de Confiança e Segurança e Operações de Aplicação da Lei, que trabalham 24 horas por dia, 7 dias por semana, a fim de ajudar a manter nossa comunidade segura. Organizamos cúpulas anuais para as autoridades policiais nos EUA para garantir que os oficiais e agências saibam como tomar as medidas adequadas contra qualquer atividade ilegal que possa estar ocorrendo em nossa plataforma. 

Também continuamos a expandir nossas ferramentas de denúncia no aplicativo, que incluem opções para que nossa comunidade sinalize nudez e conteúdo sexual e, especificamente, o CSEAI. Denunciar conteúdos e contas problemáticos é extremamente importante para ajudar as empresas de tecnologia a remover pessoas mal-intencionadas de seus serviços e impedir mais atividades antes que elas potencialmente causem danos a terceiros. 

Mais recentemente, adicionamos novos recursos ao nosso conjunto de ferramentas da Central da Família, que os pais podem usar para entender melhor como seu filho adolescente está usando o Snapchat, incluindo nosso chatbot de IA. Também lançamos novos recursos para ajudar educadores e administradores escolares a entender como seus alunos usam o Snapchat e os recursos que oferecemos para ajudar as escolas em seus esforços para criar ambientes seguros e de apoio para os alunos.

E estamos investindo em maneiras de aumentar a conscientização pública e dos Snapchatters sobre danos sexuais online. Nossos episódios no aplicativo “Safety Snapshot” se concentram em riscos sexuais, incluindo tópicos como aliciamento e tráfico online de crianças. Fomos também a primeira entidade a apoiar o Know2Protect, uma campanha do Departamento de Segurança Interna dos EUA focada em educar e empoderar jovens, pais, adultos de confiança e formuladores de políticas sobre abuso sexual infantil online. 

Esperamos continuar a trabalhar com todos os tipos de partes interessadas – por exemplo, pais, jovens, educadores e formuladores de políticas – nesses tipos de problemas de toda a sociedade, e esperamos que os insights de nossa pesquisa multiplataformas ajudem a criar novas ideias e oportunidades para garantir que as pessoas estejam cientes das ameaças online existentes e novas, e os recursos disponíveis para ajudar no combate a esses riscos. 

- Viraj Doshi, Líder de Segurança da Plataforma