التعلّم المبكر من My AI وتعزيزات السلامة الجديدة

4 أبريل 2023

طرحنا قبل ستة أسابيع My AI وهو روبوت محادثة تم إنشاؤه باستخدام تقنية GPT من قبل OpenAI. لقد بدأنا ببطء من خلال تقديم My AI لمشتركي سناب شات+، وفي فترة تزيد قليلًا عن شهر تعلّمنا الكثير. على سبيل المثال، نحن نعلم أن بعض الموضوعات الأكثر شيوعًا التي طرحها مجتمعنا على My AI تشمل الأفلام والرياضة والألعاب والحيوانات الأليفة والرياضيات.
وتعلمنا أيضًا عن احتمالية إساءة الاستخدام، والتي تعلّمنا الكثير منها من الأشخاص الذين يحاولون خداع روبوت المحادثة لتقديم ردود لا تتوافق مع تعليماتنا. كجزء من عملنا المشترك لتحسين My AI، نريد مشاركة التحديثات حول بعض تحسينات السلامة التي وضعناها مؤخرًا نتيجة لتعلّمنا - جنبًا إلى جنب مع الأدوات الجديدة التي نخطط لتنفيذها.
نهج My AIR للبيانات 
لطالما كانت الخصوصية مسألة محورية في مهمة سناب - فهي تساعد الأشخاص على الشعور براحة أكبر في التعبير عن أنفسهم عند التواصل مع الأصدقاء والعائلة. فنحن نحاول عبر سناب شات أن نكون واضحين مع مجتمعنا وتقديم سياق استخدام منتجاتنا للبيانات وكيف نبني ميزات باستخدام عمليات الخصوصية حسب التصميم. على سبيل المثال، تختلف الطريقة التي نتعامل بها مع البيانات المتعلّقة بالمحادثات بين الأصدقاء على سناب شات عن الطريقة التي نتعامل بها مع البيانات المتعلقة بمحتوى البث على سناب شات، والتي نتمسك بها وفقًا لمعايير أعلى وتتطلب الإشراف عليها لأنّها تصل إلى جمهور كبير.
ومع ذلك، نظرًا لأن My AI هو روبوت محادثة وليس صديقًا حقيقيًا، فقد تعمدنا التعامل مع البيانات المرتبطة بشكلٍ مختلف، لأنّنا قادرون على استخدام سجل المحادثة للاستمرار في جعل My AI أكثر متعة وفائدة وأمانًا. قبل السماح لمستخدمي ومستخدمات سناب شات باستخدام My AI، نعرض عليهم رسالة إعداد توضّح أنّه سيتم الاحتفاظ بجميع الرسائل باستخدام My AI ما لم تحذفها.
لقد ساعدتنا القدرة على مراجعة هذه التفاعلات المبكرة مع My AI على تحديد حواجز الحماية التي تعمل بشكلٍ جيد وأيًّا منها بحاجة إلى تقويتها. للمساعدة في تقييم ذلك، قمنا بإجراء مراجعات لاستعلامات My AI والردود التي تحتوي على لغة "غير مطابقة"، والتي نعرّفها على أنّها أي نص يتضمن إشارات إلى العنف، والمصطلحات الجنسية الصريحة، وتعاطي المخدرات غير المشروع، والاعتداء الجنسي على الأطفال، والتنمّر أو الكلام الذي يحض على الكراهية أو التصريحات المهينة أو المتحيزة أو العنصرية أو كراهية النساء أو تهميش الفئات الممثلة تمثيلًا ناقصًا. ويُحظر صراحةً جميع فئات المحتوى هذه على سناب شات.
وجدت تحليلاتنا الأخيرة أن 0.01٪ فقط من ردود My AI تعتبر غير مطابقة. وتضمّنت أمثلة ردود My AI، غير المطابقة والأكثر شيوعًا، تكرار كلمات غير لائقة ردًا على أسئلة مستخدمي ومستخدمات سناب شات.
سنستمر في استخدام هذه الدروس لتحسين My AI. وستساعدنا هذه البيانات أيضًا في نشر نظام جديد للحد من إساءة استخدام My AI. نحن نضيف تقنية الإشراف Open AI إلى مجموعة الأدوات الحالية لدينا، وسيتيح لنا ذلك تقييم مدى خطورة المحتوى الذي قد يكون ضارًا وتقييد وصول مستخدمي ومستخدمات سناب شات إلى My AI إذا أساءوا استخدام الخدمة.
تجارب مناسبة للعمر
نحن نتعامل بجدية مع مسؤوليتنا لتصميم المنتجات والتجارب التي تعطي الأولوية للسلامة وتناسب العمر. فمنذ إطلاق My AI، ونحن نعمل بجِد لتحسين استجاباته لطلبات سناب شات غير اللائقة، بغض النظر عن عمر مستخدم أو مستخدمة سناب شات. كما نستخدم أيضًا أدوات الكشف الاستباقي لفحص محادثات My AI بحثًا عن نص يحتمل أن يكون غير متوافق واتخاذ الإجراءات اللازمة.
إننا نطبق أيضًا إشارة عمرية جديدة لـ My AI عبر استخدام تاريخ الميلاد في سناب شات، بحيث حتى إذا لم يخبر مستخدم أو مستخدمة سناب شات My AI عن عمره في أي محادثة، فإن روبوت الدردشة سيأخذ العمر باستمرار في الاعتبار عند الانخراط في أي محادثة.
My AI في مركز العائلة
يقدّم سناب شات للآباء ومقدّمي الرعاية إمكانية رؤية الأصدقاء الذين يتواصل معهم المراهقون، ومتى حدث ذلك مؤخرًا من خلال مركز العائلة داخل التطبيق. سنزود الآباء بمزيد من الأفكار حول تفاعلات أبنائهم المراهقين مع My AI في الأسابيع القادمة. وهذا يعني أن الآباء سيكونون قادرين على استخدام مركز العائلة لمعرفة ما إذا كان أبناؤهم يتواصلون مع My AI، وكم مرة. لاستخدام مركز العائلة، يحتاج كل من الوالد والمراهق إلى الاشتراك - ويمكن للعائلات المهتمة معرفة المزيد حول كيفية التسجيل هنا.
نواصل تشجيع مستخدمي ومستخدمات سناب شات على استخدام أدوات الإبلاغ داخل التطبيق إذا تلقوا أي ردود مقلقة من My AI، وإرسال ملاحظات لنا حول تجاربهم العامة مع المنتج.
نحن نعمل باستمرار على تحسين My AI، وسنعمل باستمرار على تقييم التدابير الإضافية للمساعدة في الحفاظ على مجتمعنا آمنًا. نحن نقدر جميع التعليقات المبكرة حول My AI، ونحن ملتزمون بتوفير تجربة ممتعة وآمنة لمجتمعنا.
العودة إلى الأخبار