Hace seis semanas, lanzamos My AI, un chatbot creado con tecnología GPT de OpenAI. Empezamos poco a poco ofreciendo My AI a los suscriptores de Snapchat+ y, en poco más de un mes, hemos aprendido mucho. Por ejemplo, sabemos que entre algunos de los temas más comunes que consulta nuestra comunidad a My AI se encuentran películas, deportes, juegos, mascotas y matemáticas.

También hemos descubierto algunos de los posibles malos usos, muchos de los cuales descubrimos a partir personas que intentan engañar al chatbot para que de respuestas que no se ajustan a nuestras pautas. Como parte de nuestro trabajo conjunto para mejorar My AI, queremos compartir algunas de las mejoras en material de seguridad que hemos puesto en marcha recientemente como resultado de nuestros aprendizajes, junto con las nuevas herramientas que planeamos implementar. 

Enfoque de datos de My AI 

La privacidad siempre ha sido fundamental para la misión de Snap, que ayuda a las personas a sentirse más cómodas expresándose cuando se comunican con amigos y familiares. En Snapchat tratamos de ofrecer a nuestra comunidad claridad y contexto sobre cómo nuestros productos hacen uso de los datos y cómo creamos características mediante procesos de privacidad por diseño. Por ejemplo, la forma en la que gestionamos los datos relacionados con las conversaciones entre amigos en Snapchat es diferente de cómo gestionamos los datos relacionados con contenido divulgativo en Snapchat, para los que mantenemos unas normas más estrictas y requieren ser moderadas porque llega a un mayor público. 

No obstante, ya que My AI es un chatbot y no un amigo de verdad, hemos decidido tratar los datos asociados de forma diferente, porque somos capaces de utilizar el historial de conversaciones para seguir haciendo que My AI sea más divertido, útil y seguro. Antes de que los Snapchatters puedan utilizar My AI, les mostramos un mensaje de incorporación que aclara que todos los mensajes con My AI se conservarán a menos que los elimines. 

Poder revisar estas interacciones tempranas con My AI nos ha ayudado a identificar qué medidas funcionan bien y cuáles hay que reforzar. Para evaluar esto, hemos estudiado las consultas y respuestas de My AI que contienen un lenguaje "no conforme", que definimos como cualquier texto que incluya referencias a la violencia, o contenga términos sexualmente explícitos, uso ilícito de drogas, abuso a menores, acoso virtual, discurso del odio, afirmaciones derogatorias o parciales, racismo, misoginia o marginalización de grupos infrarrepresentados . Todas estas categorías de contenido están explícitamente prohibidas en Snapchat.

Nuestro análisis más reciente encontró que solo el 0,01 % de las respuestas de My AI se consideraron no conformes. Entre los ejemplos de respuestas más comunes de My AI no conformes se incluyen palabras repetidas e inapropiadas en respuesta a las preguntas de Snapchatters.

Seguiremos utilizando estos aprendizajes para mejorar My AI. Estos datos también nos ayudarán a implementar un nuevo sistema para limitar el uso indebido de My AI. Vamos añadir la tecnología de moderación de Open AI a nuestro conjunto de herramientas existentes, que nos permitirá evaluar la gravedad de contenido potencialmente peligroso y restringir temporalmente el servicio a My AI a Snapchatters que hagan mal uso del servicio. 

Experiencias apropiadas para cada edad 

Nos tomamos seriamente nuestra responsabilidad de diseñar productos y experiencias que priorizan la seguridad y la adecuación de la edad. Desde el lanzamiento de My AI hemos trabajado activamente para mejorar sus respuestas a preguntas inapropiadas de los Snapchatters, independientemente de la edad que tengan. También utilizamos herramientas de detección proactivas para escanear conversaciones de My AI y detectar textos potencialmente no conformes y tomar medidas al respecto.

También hemos implementado una nueva señal para My AI que utiliza la fecha de nacimiento de los Snapfans, de modo que incluso si un Snapfan nunca le dice su edad a My AI en una conversación, el chatbot tendrá en cuenta su edad al participar en conversaciones. 

My AI en Centro de familia

Snapchat ofrece a los padres y tutores visibilidad de los amigos con los que se comunican sus adolescentes y cuándo fue la última vez que lo hicieron, mediante nuestro Centro de familia integrado en la aplicación. En las próximas semanas, ofreceremos a los padres más información sobre las interacciones de sus hijos adolescentes con My AI. Esto significa que los padres podrán hacer uso del Centro de familia para ver si sus hijos adolescentes se comunican con My AI y con qué frecuencia lo hacen. Para hacer uso del Centro de familia, tanto un padre como un adolescente necesitan unirse; y las familias interesadas pueden obtener más información sobre cómo registrarse aquí. 

Seguimos animando a los Snapchatters a que utilicen nuestras herramientas de información integradas en la aplicación si reciben cualquier respuesta alarmante desde My AI y para enviarnos comentarios sobre su experiencia global con el producto. 

Trabajamos constantemente para mejorar My AI y consideraremos continuamente medidas adicionales para ayudar a mantener a nuestra comunidad segura. Agradecemos que nos hagan llegar comentarios My AI y nos comprometemos a ofrecer una experiencia divertida y segura para nuestra comunidad.