Hace seis semanas lanzamos My AI, un chatbot creado con la tecnología GPT de OpenAI. Empezamos progresivamente ofreciendo My AI a los suscriptores de Snapchat+ y, en poco más de un mes, hemos aprendido mucho. Por ejemplo, sabemos que algunos de los temas más comunes que nuestra comunidad le ha preguntado a My AI incluyen películas, deportes, juegos, mascotas y matemáticas.

También aprendimos a detectar posibles usos indebidos, y muchos de ellos los aprendimos de personas que intentan engañar al chatbot para que proporcione respuestas que no se ajustan a nuestras pautas. Como parte de nuestro trabajo conjunto para mejorar My AI, queremos compartir una actualización de algunas mejoras de seguridad que hemos puesto en marcha recientemente como resultado de nuestros aprendizajes, junto con las nuevas herramientas que planeamos introducir...

Enfoque de My AI hacia los datos

La privacidad siempre ha sido un aspecto fundamental de la misión de Snap: ayuda a que las personas se sientan más cómodas a la hora de expresarse cuando se comunican con sus amigos y familiares. En Snapchat, nos esforzamos por proporcionar claridad y contexto a nuestra comunidad sobre cómo nuestros productos utilizan los datos y cómo creamos funciones utilizando procesos de privacidad por diseño. Por ejemplo, en Snapchat manejamos los datos relacionados con las conversaciones entre amigos de forma diferente a como manejamos los datos relacionados con la difusión de contenido, los cuales se rigen por normas más estrictas y requieren ser moderados porque llegan a un público más amplio.

Sin embargo, dado que My AI es un chatbot y no un verdadero amigo, hemos sido cuidadosos a la hora de tratar los datos asociados de manera distinta, ya que podemos utilizar el historial de conversaciones para seguir mejorando My AI y hacerla más divertida, útil y segura. Antes de que los Snapchatters puedan usar My AI, les mostramos un mensaje de bienvenida que deja claro que todos los mensajes con My AI se guardarán a menos que los borres.

Poder revisar estas interacciones tan tempranas con My AI nos ha ayudado a identificar qué medidas de seguridad funcionan bien y cuáles deben reforzarse. Para ayudar a evaluar esto, hemos estado revisando las consultas y respuestas de My AI que contienen lenguaje "no conforme", que definimos como cualquier texto que haga referencia a violencia, términos sexualmente explícitos, consumo de drogas ilegales, abuso sexual infantil, acoso virtual, incitación al odio, declaraciones despectivas o tendenciosas, racismo, misoginia o marginación de grupos subrepresentados. Todas estas categorías de contenido están explícitamente prohibidas en Snapchat.

Nuestro más reciente análisis reveló que solo el 0.01 % de las respuestas de My AI se consideraron no conformes. Algunos de los ejemplos más comunes de respuestas no conformes de My AI incluían la repetición de palabras inapropiadas en respuesta a las preguntas de los Snapchatters.

Continuaremos utilizando estos conocimientos para mejorar My AI. Estos datos también nos ayudarán a implementar un nuevo sistema para restringir el uso indebido de My AI. Estamos añadiendo la tecnología de moderación de Open AI a nuestro conjunto de herramientas existentes, lo que nos permitirá evaluar la gravedad de los contenidos potencialmente dañinos y restringir temporalmente el acceso de los Snapchatters a My AI si usan el servicio de forma indebida.

Experiencias adecuadas a la edad

Asumimos muy en serio nuestra responsabilidad de diseñar productos y experiencias que den prioridad a la seguridad y a lo apropiado para cada edad. Desde el lanzamiento de My AI, hemos estado trabajando arduamente para mejorar las respuestas a las solicitudes inapropiadas de los Snapchatters, independientemente de su edad. También hemos implementado herramientas de detección proactiva para analizar las conversaciones de My AI en busca de texto que pueda ser considerado no conforme y tomar las medidas pertinentes.

También hemos implementado una nueva señal de edad para My AI que consiste en utilizar la fecha de nacimiento de un Snapchatter, de modo que si un Snapchatter nunca le dice a My AI su edad en una conversación, el chatbot siempre tendrá en cuenta su edad a la hora de entablar una conversación.

My AI en el Centro de familia

Snapchat ofrece a los padres y cuidadores la posibilidad de saber con qué amigos se comunican sus hijos adolescentes, y desde cuándo, a través de nuestro Centro de familia integrado en la aplicación. En las próximas semanas, ofreceremos a los padres más información sobre las interacciones de sus hijos adolescentes con My AI. Esto significa que los padres podrán utilizar el Centro de familia para ver si sus hijos adolescentes están interactuando con My AI y con qué frecuencia. Para poder utilizar el Centro de familia, tanto los padres como los adolescentes deben darse de alta. Las familias interesadas pueden obtener más información sobre cómo darse de alta aquí.

Continuamos incentivando a los usuarios de Snapchatters a que utilicen nuestras herramientas de reporte integradas en la aplicación si reciben respuestas preocupantes de My AI y a que nos envíen sus comentarios sobre su experiencia general con el producto.

Trabajamos constantemente para mejorar My AI, y continuaremos evaluando más medidas para ayudar a mantener la seguridad de nuestra comunidad. Agradecemos todos los comentarios recibidos sobre My AI y nos comprometemos a ofrecer una experiencia segura y divertida a nuestra comunidad.