Hace seis semanas lanzamos My AI, un chatbot construido con la tecnología GPT de OpenAI. Comenzamos lentamente proveyendo My AI a los suscriptores de Snapchat+ y, en poco más de un mes, hemos aprendido mucho. Por ejemplo, sabemos que algunos de los temas más comunes que nuestra comunidad ha consultado a My AI fueron películas, deportes, juegos, mascotas y matemáticas.

También hemos aprendido sobre algunos de los potenciales usos indebidos, muchos de los cuales aprendimos de personas que trataron de engañar al chatbot para que les proporcione respuestas que no cumplen con nuestras pautas. Como parte de nuestro trabajo conjunto para My AI queremos compartir una actualización de algunas de las mejoras de seguridad que hemos puesto en marcha recientemente como resultado de nuestros aprendizajes, junto con nuevas herramientas que planeamos implementar. 

El enfoque de datos de My AI 

La privacidad siempre ha sido central en la misión de Snap, ayuda a las personas a sentirse más cómodas expresándose cuando se comunican con amigos y familia. En Snapchat tratamos de proporcionar a nuestra comunidad claridad y contexto sobre cómo nuestros productos usan datos y cómo construimos funciones utilizando procesos de privacidad por diseño. Por ejemplo, la forma en que manejamos datos relacionados con conversaciones entre amigos en Snapchat es diferente de cómo manejamos datos relacionados con contenidos de difusión en Snapchat, los cuales tienen un estándar más alto y necesitan ser moderados porque llegan a un público grande. 

Sin embargo, dado que My AI es un chatbot y no un amigo verdadero, hemos tratado los datos asociados de manera diferente deliberadamente porque podemos usar el historial de conversaciones para continuar haciendo que My AI sea más divertida, útil y segura. Antes de que los Snapchatters puedan usar My AI, les aparece un mensaje de incorporación que deja en claro que todos los mensajes con My AI se conservarán a menos que los eliminen. 

Poder revisar estas interacciones tempranas con My AI nos ha ayudado a identificar qué barandillas funcionan bien y cuáles necesitan ser más fuertes. Para ayudar a evaluar esto, hemos estado realizando revisiones de las consultas y respuestas de My AI que contienen lenguaje “no conforme” que definimos como cualquier texto que incluya referencias a violencia, términos sexualmente explícitos, uso de drogas ilícitas, abuso sexual de las infancias, acoso, discurso de odio, declaraciones despectivas o sesgadas, racismo, misoginia o marginalización de grupos minoritarios. Todas estas categorías de contenidos están explícitamente prohibidas en Snapchat.

Nuestro análisis más reciente encontró que solo el 0,01 % de las respuestas de My AI se consideró no conforme. Algunos ejemplos de las respuestas de My AI no conformes más comunes incluyen la repetición de palabras inapropiadas en respuesta a preguntas de los Snapchatters.

Continuaremos utilizando estos aprendizajes para mejorar My AI. Estos datos también nos ayudarán a implementar un nuevo sistema para limitar el uso indebido de My AI. Estamos agregando la tecnología de moderación de Open AI a nuestros conjuntos de herramientas existentes, lo que nos permitirá evaluar la gravedad de contenidos potencialmente dañinos y restringir temporalmente el acceso de los Snapchatters a My AI si utilizan servicio de manera indebida. 

Experiencias acordes a la edad 

Tomamos seriamente nuestra responsabilidad al diseñar productos y experiencias que prioricen la seguridad y la edad apropiada. Desde el lanzamiento de My AI hemos trabajado vigorosamente para mejorar sus respuestas a solicitudes inapropiadas de Snapchatters independientemente de la edad del Snapchatter. También utilizamos herramientas de detección proactiva para escanear conversaciones de My AI para encontrar texto potencialmente no conforme y tomar acción.

También hemos implementado una nueva señal de edad para My AI utilizando la fecha de nacimiento de un Snapchatter, de manera que incluso si un Snapchatter nunca le dice a My AI su edad en una conversación, el chatbot tomará consistentemente su edad en consideración al entablar una conversación. 

My AI en el Centro familiar

Snapchat ofrece a los padres y cuidadores visibilidad sobre con qué amigos sus adolescentes se comunican y hace cuanto a través de nuestro Centro familiar dentro de la aplicación. En las próximas semanas, proporcionaremos a los padres más información sobre las interacciones de sus hijos adolescentes con My AI. Esto significa que los padres podrán usar el Centro familiar para ver si sus hijos adolescentes se comunican con My AI y con qué frecuencia. Para usar el Centro familiar tanto los padres como los adolescentes necesitan optar por ello y las familias interesadas pueden aprender más sobre cómo registrarse aquí. 

Continuamos alentando a los Snapchatters a usar nuestras herramientas de denuncia en la aplicación si reciben alguna respuesta preocupante de My AI y a que nos envíen comentarios sobre sus experiencias generales con el producto. 

Estamos trabajando constantemente para mejorar My AI y evaluamos continuamente medidas adicionales para ayudar a mantener a nuestra comunidad segura. Valoramos todos los comentarios tempranos sobre My AI y estamos comprometidos a proporcionar una experiencia divertida y segura para nuestra comunidad.