O rápido crescimento das ferramentas de IA nos últimos anos criou e continuará a criar novas oportunidades de criatividade, aprendizagem e conexão. No entanto, a tecnologia também introduziu novas dinâmicas aos riscos ‘online’ já existentes. Uma nova investigação mostra que, à medida que o número de pessoas que encontram imagens e vídeos de IA com conteúdos sexuais ‘online’ continua a crescer, a sensibilização para a ilegalidade de alguns conteúdos continua a ser um desafio.

Para entender melhor os costumes e comportamentos de adolescentes e jovens adultos em todas as plataformas e serviços, a Snap realiza e partilha uma investigação anual em toda a indústria denominada o nosso Índice de Bem-Estar Digital. (A Snap ordenou a investigação, mas esta abrange as experiências da Geração Z a nos espaços digitais, em geral, sem qualquer foco específico no Snapchat.)  Embora estejamos a planear divulgar os resultados completos do nosso terceiro ano de estudo, em conjunto com o Dia Internacional da Internet Mais Segura, em fevereiro de 2025, queremos antever algumas conclusões fundamentais sobre a forma como os adolescentes, jovens adultos e até mesmo os pais estão a interagir e a reagir ao conteúdo sexual generativo baseado em IA. Estamos a fazê-lo hoje, à luz do foco global na exploração e abuso sexual infantil esta semana, e em conjunto com a nossa participação no Empowering Voices DC Summit, que se centrou na abordagem dos danos associados ao conteúdo sexual gerado por IA.

Por exemplo, no nosso estudo, que inquiriu 9 007 adolescentes, jovens adultos e pais de adolescentes em 6 países ¹, 24% disseram ter visto algum tipo de imagens ou vídeos gerados por IA e de natureza sexual. Dos que alegaram ter visto este tipo de conteúdo, apenas 2% disseram que as imagens eram de alguém com menos de 18 anos.

Felizmente, quando as pessoas viram este tipo de conteúdo, 9 em cada 10 tomaram alguma ação, desde o bloqueio ou eliminação do conteúdo (54%) até a comunicação com amigos ou familiares de confiança (52%). No entanto, apenas 42% disseram que denunciaram o conteúdo na plataforma ou serviço onde o viram, ou a uma linha direta/linha de apoio. Este conhecimento segue uma tendência mais ampla de taxas de denúncias mais baixas em questões relacionadas com a segurança digital. Destacámos numa publicação anterior a importância de combater as perceções negativas das denúncias, para que os jovens não normalizem a exposição a determinados conteúdos e condutas problemáticos ‘online’, ou equiparem a denúncia com "fazer queixinhas".

Ainda mais alarmante é o facto de mais de 40% dos inquiridos desconhecerem a obrigação legal das plataformas/serviços denunciarem imagens sexuais de menores, mesmo que essas imagens tenham a intenção de serem piadas ou memes. E, embora um número maior (mais de 70%) reconheça que era ilegal usar a tecnologia de IA para criar conteúdo sexual falso de uma pessoa ou para reter, ver ou partilhar imagens sexuais de menores, estas conclusões indicam que há um trabalho considerável a fazer para garantir que o público em geral está ciente dos requisitos legais relacionados com este tipo de conteúdo.

Nos EUA, por exemplo, quase 40% dos inquiridos disseram acreditar que é legal usar a tecnologia de IA para criar imagens sexuais falsas de uma pessoa. E, segundo evidência anedótica, ouvimos falar de uma tendência desconcertante por parte de colegas da indústria: com a proliferação deste tipo de conteúdo, algumas raparigas adolescentes sentem-se “excluídas” se não forem apresentadas em imagens sexuais manipuladas por IA que os seus pares estão a criar e a partilhar inadequadamente. Este facto perturbador ressalta ainda a necessidade de educar e aumentar a sensibilização para este risco ‘online’ específico, com adultos de confiança e pares informados a desempenhar um papel ativo no desencorajamento deste tipo de comportamento.

O compromisso contínuo da Snap

Na Snap, estamos a investir continuamente em recursos, ferramentas e tecnologia para ajudar a promover experiências mais seguras, saudáveis e positivas no Snapchat e em todo o ecossistema tecnológico.

Em alguns casos, usamos “sinais” comportamentais para identificar atividades potencialmente ilegais, para que possamos remover proativamente os malfeitores e denunciá-los às autoridades. Além disso, como um serviço que inclui um chatbot de conversação IA, esforçamo-nos para sermos mais vigilantes na prevenção da potencial criação desse material no Snapchat, bem como para nos protegermos contra a partilha e distribuição de material que pode ter sido gerado noutras plataformas. Tratamos imagens sexuais de menores suspeitas de serem geradas por IA da mesma forma que imagens de exploração e abuso sexual infantil “autênticas” (IEASI), removendo o conteúdo assim que tivermos conhecimento do mesmo, suspendendo a conta violadora, e denunciando-a ao Centro Nacional para Crianças Desaparecidas e Exploradas (CNCDE). Isto é para além de alavancar e implementar tecnologia concebida para evitar a propagação de IEASI, incluindo PhotoDNA (para detetar duplicações de imagens ilegais conhecidas) e o CSAI Match da Google (para detetar duplicações de vídeos ilegais conhecidos). Também recentemente começamos a usar a API de segurança baseada em conteúdo da Google (para ajudar na deteção de imagens “nunca antes hashed” em conteúdo público). Também nos envolvemos com a NCMEC sobre como alavancar as assinaturas digitais únicas (ou “hashes”) das 4700 denúncias que receberam no ano passado relacionadas com material de abuso sexual infantil que envolveu GenAI.

Colaboramos com as autoridades policiais, apoiando as suas investigações e investimos fortemente nas nossas equipas de Confiança e Segurança e Aplicação da Lei que trabalham 24 horas por dia, 7 dias por semana, para ajudar a manter a nossa comunidade segura. Realizamos anualmente cimeiras às autoridades policiais nos EUA para garantir que os oficiais e as agências saibam como tomar as medidas adequadas contra qualquer atividade ilegal que possa estar a ocorrer na nossa plataforma.

Também continuamos a expandir as nossas ferramentas de denúncia na aplicação, que incluem opções para a nossa comunidade sinalizar a nudez e o conteúdo sexual, especificamente IEASI. A denúncia de conteúdos e contas problemáticos é extremamente importante para ajudar as empresas de tecnologia a eliminar os malfeitores dos seus serviços e a impedir outras atividades antes que possam causar danos a terceiros. 

Mais recentemente, adicionámos novas funcionalidades ao nosso conjunto de ferramentas do Centro da Família, que os pais podem usar para entender melhor a forma como o seu filho adolescente está a usar o Snapchat, incluindo o nosso chatbot de IA. Também lançámos novos recursos para ajudar os educadores e os administradores escolares a entender a forma como os seus alunos usam o Snapchat e os recursos que oferecemos para ajudar as escolas nos seus esforços para criar ambientes seguros e de apoio para os alunos.

Para além disso, estamos a continuar a investir em formas de aumentar a sensibilização do público e do Snapchatter para os danos sexuais ‘online’. Os nossos episódios “Safety Snapshot” na aplicação centram-se em riscos sexuais, incluindo tópicos como o aliciamento de menores ‘online’ e o tráfico humano. Fomos também a primeira entidade a apoiar a Know2Protect, uma campanha do Departamento de Segurança Interna dos EUA focada na educação e capacitação de jovens, pais, adultos de confiança e decisores políticos sobre o abuso sexual infantil ‘online’.

Aguardamos com expectativa a possibilidade de continuar a trabalhar com todos os tipos de partes interessadas, como pais, jovens, educadores e decisores políticos, para citar alguns, sobre estes tipos de questões para toda a sociedade, e esperamos que os conhecimentos trazidos pela nossa investigação entre plataformas ajudem a criar novas ideias e oportunidades para garantir que as pessoas estão cientes das ameaças ‘online’ já existentes e das novas e dos recursos disponíveis para ajudar a combater estes riscos.

- Viraj Doshi, Responsável pela Segurança da Plataforma