Hace seis semanas lanzamos My AI, un bot de charla con tecnología GPT de OpenAI. Al inicio, ofrecimos My AI a los suscriptores de Snapchat+. En poco más de un mes, hemos aprendido muchísimo. Por ejemplo, sabemos que algunos de los temas más comunes sobre los cuales nuestra comunidad ha preguntado a My AI son películas, deportes, juegos, mascotas y matemáticas.

También hemos aprendido sobre algunas de las posibilidades de uso indebido que se puede hacer de la herramienta; muchos de esos aprendizajes los hemos adquirido de personas que han intentado confundir al bot de charla para que dé respuestas que infringen nuestros lineamientos. Como parte de nuestro trabajo en conjunto para mejorar My AI, queremos compartir una actualización sobre algunas de las mejoras de seguridad que hemos implementado recientemente tras nuestros aprendizajes, además de herramientas nuevas que planeamos implementar. 

La privacidad siempre ha sido fundamental para la misión de Snap; ayuda a las personas a sentirse más cómodas con la expresión de sí mismas cuando se comunican con amigos y familiares. En Snapchat tratamos de explicar a nuestra comunidad de forma clara y contextual cómo nuestros productos usan los datos y cómo desarrollamos funciones mediante procesos de privacidad por diseño. Por ejemplo, la forma en que manejamos los datos relacionados con conversaciones entre amigos en Snapchat no es igual a la forma en que manejamos los datos relacionados con contenido de transmisiones en Snapchat; estos últimos deben cumplir normas más estrictas y deben moderarse porque llegan a un público amplio. 

No obstante, dado que My AI es un bot de charla y no es un amigo verdadero, intencionalmente tratamos los datos asociados de un modo distinto, porque podemos usar el historial de conversaciones para que My AI sea una herramienta más divertida, útil y segura. Antes de que los Snapchatters puedan usar My AI, debemos mostrarles un mensaje introductorio que les aclare que se conservarán todos los mensajes que se intercambien con My AI, a menos que tú los elimines. 

La capacidad de revisar estas primeras interacciones con My AI nos ha ayudado a identificar cuáles medidas de seguridad están funcionando bien y cuáles deben mejorarse. Para evaluar lo anterior, hemos hecho revisiones de las consultas y respuestas de la herramienta My IA que tienen vocabulario infractor, el cual definimos como cualquier texto que incluye referencias a la violencia, términos sexualmente explícitos, uso de sustancias ilícitas, abuso sexual infantil, bullying, discurso de odio, declaraciones despectivas o sesgadas, racismo, misoginia o la marginalización de grupos subrepresentados. Todas estas categorías de contenido están explícitamente prohibidas en Snapchat.

Según nuestro análisis más reciente, solamente el 0.01% de las respuestas de My IA se consideraron infractoras. Algunos ejemplos de las respuestas infractoras más comunes de My IA fueron repeticiones inadecuadas de la herramienta ante preguntas de los Snapchatters.

Seguiremos usando estos aprendizajes para mejorar el bot de charla My AI. Además, estos datos nos ayudarán a implementar un nuevo sistema para limitar el mal uso de My AI. Agregaremos una tecnología de moderación de Open AI a nuestros recursos existentes, que nos permitirá evaluar la gravedad del contenido potencialmente dañino y restringir por un tiempo el acceso de los Snapchatters a My AI si hacen mal uso del servicio. 

Tomamos con mucha seriedad nuestra responsabilidad de diseñar productos y experiencias que prioricen la seguridad y las experiencias adecuadas para la edad de los usuarios. Desde el lanzamiento de My AI, hemos trabajado intensamente para mejorar sus respuestas a las solicitudes inadecuadas de los Snapchatters, independientemente de la edad de un Snapchatter. Además, usamos herramientas proactivas de detección para analizar las conversaciones de My IA en busca de texto potencialmente infractor, con el fin de adoptar medidas.

También hemos implementado una nueva advertencia de edad para usar My IA con la fecha de nacimiento de un Snapchatter, de modo que, incluso si un Snapchatter no dice nunca su edad a My AI en una conversación, el bot de charla siempre tomará en cuenta su edad al entablar una conversación. 

Snapchat ofrece a los padres de familia y cuidadores la capacidad de ver con cuáles amigos se están comunicando sus adolescentes y qué tan recientemente, gracias a nuestro Centro familiar integrado en la aplicación. En las próximas semanas daremos más información a los padres de familia sobre las interacciones de sus adolescentes con My AI. Esto significa que los padres de familia podrán usar el Centro familiar para ver si sus adolescentes se están comunicando con My AI y con qué frecuencia. Para poder usar el Centro de familia, tanto el progenitor como el adolescente deben optar por usar el centro; además, las familias interesadas pueden obtener más información sobre cómo registrarse aquí. 

Aún animamos a los Snapchatters a usar los recursos de generación de informes de nuestra aplicación si reciben respuestas inquietantes de My AI, y los invitamos a enviar sus comentarios sobre su experiencia general con el producto. 

Trabajamos incansablemente para mejorar My AI y seguiremos evaluando medidas adicionales para mantener a la comunidad a salvo. Agradecemos todos los comentarios iniciales sobre My AI y manifestamos que nos comprometemos a ofrecer una experiencia divertida y segura a nuestra comunidad.