Seis semanas atrás, lançamos a My AI, um chatbot construído com a tecnologia da OpenAI. Começamos aos poucos fornecendo a My AI para assinantes do Snapchat+ e, em pouco mais de um mês, aprendemos muito. Por exemplo, sabemos que alguns dos temas mais comuns que nossa comunidade perguntou a My AI incluía filmes, esportes, jogos, animais de estimação e matemática.

Também aprendemos sobre alguns dos usos indevidos em potencial, devido às pessoas que tentaram enganar o chatbot a fornecer respostas que não estariam em conformidade com nossas diretrizes. Como parte do nosso esforço conjunto para melhorar a My AI, queremos compartilhar uma atualização sobre algumas das melhorias de segurança que colocamos em vigor recentemente, como parte do resultado de nosso aprendizado, além das ferramentas novas que planejamos implementar.

A abordagem de dados da My AI

A privacidade sempre foi essencial na missão da Snap. Isso faz as pessoas se sentirem mais confortáveis ao se comunicar com amigos e familiares. No Snapchat, tentamos fornecer clareza e contexto à nossa comunidade a respeito de como nossos produtos usam os dados e como criamos recursos com a privacidade desde a sua concepção. Por exemplo, a maneira como lidamos com os dados relacionados a conversas entre amigos no Snapchat é diferente de como lidamos com os dados relacionados ao conteúdo de transmissão, já que mantemos um padrão mais elevado e exigimos moderação para conteúdo que atinge um grande público.

No entanto, uma vez que My AI é um chatbot e não um amigo real, temos sido cuidadosos ao processar de modo diferente os dados relacionados, visto que podemos usar o histórico de conversas para tornar a My AI mais divertida, útil e segura. Antes de os Snapchatters serem autorizados a usar a My AI, mostramos uma mensagem de integração que esclarece que todas as mensagens com a My AI serão mantidas a menos que apagadas pelo usuário.

A capacidade de revisar essas interações iniciais com a My AI nos ajudou a identificar quais medidas estão funcionando e quais precisam ser ajustadas. Para ajudar nessa avaliação, temos realizado análises das consultas e respostas da My AI que contenham linguagem em "não conformidade", que definimos como qualquer texto que inclua referências a violência, termos sexualmente explícitos, uso de drogas ilícitas, abuso sexual infantil, bullying, discurso de ódio, declarações depreciativas ou tendenciosas, racismo, misoginia ou marginalização de grupos sub-representados. Todas essas categorias de conteúdo são explicitamente proibidas no Snapchat.

Nossa análise mais recente descobriu que apenas 0,01% das respostas da My AI foram consideradas na categoria de não conformidade. Exemplos das respostas mais comuns da My AI fora de conformidade incluíam repetição de palavras inapropriadas em resposta a perguntas dos Snapchatters.

Continuaremos a utilizar tais aprendizados para melhorar a My AI. Esses dados também nos ajudarão a implantar um novo sistema para limitar o uso indevido da My AI. Estamos adicionando a tecnologia de moderação da Open AI ao nosso conjunto de ferramentas atual, o que nos permitirá avaliar a gravidade do conteúdo potencialmente prejudicial e restringir temporariamente o acesso dos Snapchatters à My AI, caso façam uso indevido do serviço.

Experiências adequadas à idade

Levamos a sério a nossa responsabilidade de criar produtos e experiências que priorizem a segurança e a adequação a idade. Desde o lançamento da My AI, trabalhamos vigorosamente para melhorar as respostas de solicitações inapropriadas, independentemente da idade de um Snapchatter. Também usamos ferramentas de detecção proativas para escanear as conversas da My AI em busca de textos potencialmente fora de conformidade e agir com base nisso.

Também implementamos um novo identificador de idade com base no aniversário do Snapchatter para a My AI, desse modo mesmo que um Snapchatter nunca diga sua idade em uma conversa, o chatbot sempre levará a idade dele em consideração.

My AI na Central da Família

Por meio da Central da Família dentro do app, o Snapchat oferece aos pais e responsáveis, visibilidade a respeito dos amigos com os quais seus filhos adolescentes têm conversado e a frequência de tais conversas. Nas semanas seguintes, forneceremos aos pais mais informações sobre as interações de seus filhos com a My AI. Isso significa que os pais poderão usar a Central da Família para ver se seus filhos estão conversando com a My AI e com que frequência. Para usar a Central da Família, tanto os pais como o adolescente precisam aceitar o uso. Famílias interessadas podem ver mais detalhes sobre como criar uma conta aqui.

Continuamos a incentivar os Snapchatters a usar nossas ferramentas para reportar quaisquer respostas preocupantes da My AI. Além disso, envie sua opinião sobre a experiência geral com o produto.

Estamos constantemente trabalhando para melhorar a My AI e avaliaremos medidas adicionais para manter nossa comunidade segura. Agradecemos todo o feedback inicial recebido a respeito da My AI e estamos comprometidos a fornecer uma experiência divertida e segura para nossa comunidade.