إن الارتفاع السريع لأدوات الذكاء الاصطناعي في السنوات الأخيرة قد استمر في خلق فرص جديدة للإبداع والتعلم والتواصل. ومع ذلك، أدخلت التكنولوجيا أيضًا ديناميكيات جديدة للمخاطر الحالية عبر الإنترنت. تُظهر الأبحاث الجديدة أنه مع استمرار نمو عدد الأشخاص الذين يواجهون صور ومقاطع فيديو ذات طابع جنسي تم إنشاؤها بواسطة الذكاء الاصطناعي عبر الإنترنت، لا يزال الوعي بعدم قانونية بعض هذا المحتوى يمثل تحديًا.

لاكتساب فهم أفضل لأقوال وسلوكيات المراهقين والشباب عبر جميع المنصات والخدمات، تُجري سناب بحثًا سنويًا على مستوى الصناعة وتُشارك فيه باسم مؤشر الرفاهية الرقمية الخاص بنا. (كلفت شركة سناب بإجراء البحث، ولكنه يغطي تجارب الجيل Z عبر المساحات الرقمية عمومًا، مع عدم التركيز بشكل خاص على سناب شات.)  بينما نخطط لإصدار النتائج الكاملة لدراسة العام الثالث الخاصة بنا بالتزامن مع اليوم الدولي للإنترنت الأكثر أمانًا في فبراير 2025، نريد معاينة بعض النتائج الرئيسية حول كيفية تفاعل المراهقين والشباب البالغين وحتى أولياء الأمور مع المحتوى الجنسي التوليدي القائم على الذكاء الاصطناعي وردود أفعالهم تجاهه. ونفعل ذلك اليوم، في ضوء التركيز العالمي على الاستغلال الجنسي للأطفال وإساءة معاملتهم هذا الأسبوع، وبالتزامن مع مشاركتنا في قمة تمكين الأصوات في العاصمة الأمريكية، التي ركزت على معالجة الأضرار التي تمت بصلة إلى المحتوى الجنسي الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. 

على سبيل المثال، في دراستنا، التي شملت 9,007 من المراهقين والشباب وأولياء أمور المراهقين عبر 6 بلدان ¹قال 24% إنهم شاهدوا نوعًا من الصور أو مقاطع الفيديو التي تم إنشاؤها بواسطة الذكاء الاصطناعي التي كانت جنسية بطبيعتها. ومن بين أولئك الذين ادعوا أنهم شاهدوا هذا النوع من المحتوى، قال 2% فقط إن الصور كانت لشخص أقل من 18 عامًا.

ومن المشجّع، عندما شاهد الأشخاص هذا النوع من المحتوى، اتخذ 9 من أصل 10 إجراءات معينة، تتراوح بين حظر المحتوى أو حذفه (54%) إلى التحدث إلى الأصدقاء أو العائلة الموثوق بهم (52%). ومع ذلك، قال 42% فقط أنهم أبلغوا عن المحتوى إلى المنصة أو الخدمة حيث شاهدوه، أو إلى خط ساخن/خط مساعدة. وتتبع هذه الرؤية اتجاهًا أكبر تتمثل في معدلات الإبلاغ المنخفضة حول القضايا المتعلقة بالسلامة الرقمية عمومًا. أشرنا في منشور سابق إلى أهمية التصدي للتصورات السلبية للإبلاغ حتى لا يصبح التعرض لمحتوى إشكالي أو سلوك معين عبر الإنترنت أمرًا طبيعيًا لدى الشباب، أو يساوون بين الإبلاغ والوشاية. 

والأكثر إثارة للقلق هو أن أكثر من 40% من المشاركين لم يكونوا واضحين بشأن الالتزام القانوني للمنصات/الخدمات بالإبلاغ عن الصور الجنسية للقاصرين، حتى لو كانت هذه الصور تهدف إلى النكات أو ميمات. وفي حين أقرّ عدد أكبر (70%+) بأن استخدام تكنولوجيا الذكاء الاصطناعي لإنشاء محتوى جنسي مزيف لشخص ما كان غير قانوني، أو الاحتفاظ بالصور الجنسية للقاصرين أو عرضها أو مشاركتها، تشير هذه النتائج إلى أن هناك عملاً كبيرًا يجب القيام به لضمان أن عامة الجمهور على دراية بالمتطلبات القانونية المتعلقة بهذا النوع من المحتوى.

في الولايات المتحدة، على سبيل المثال، قال ما يقرب من 40% من المشاركين إنهم يعتقدون أن استخدام تكنولوجيا الذكاء الاصطناعي لإنشاء صور جنسية وهمية لشخص ما أمر قانوني. وبشكل روائي، سمعنا عن اتجاه مثير للقلق من زملاء الصناعة: مع انتشار هذا النوع من المحتوى، تشعر بعض الفتيات المراهقات على وجه الخصوص "بالإهمال" إذا لم يتم ظهورهن في الصور الجنسية التي يتم التلاعب بها بواسطة الذكاء الاصطناعي التي يقوم أقرانهن بإنشائها ومشاركتها بشكل غير مناسب. وتؤكد هذه النقطة المزعجة بشكل أكبر على الحاجة إلى التثقيف وتنمية الوعي بهذا الخطر المحدد عبر الإنترنت، مع قيام البالغين الموثوق بهم والأقران المطلعين بدور نشيطٌ في تثبيط هذا النوع من السلوك.  

التزام سناب المستمر

في سناب، نستثمر باستمرار في الموارد والأدوات والتكنولوجيا للمساعدة في تعزيز تجارب أكثر أمانًا وصحة وأكثر إيجابية على سناب شات وعبر النظام البيئي التكنولوجي.

في بعض الحالات، نستخدم "إشارات" سلوكية لتحديد النشاط غير القانوني المحتمل حتى نتمكن من إزالة الجهات الفاعلة السيئة بشكل استباقي والإبلاغ عنها إلى السلطات. علاوة على ذلك، خدمة تتضمن روبوت دردشة ذكاء اصطناعي تحاوري، نبذل جهودًا لنكون أكثر يقظة في منع التوليد المحتمل لهذه المواد على سناب شات، بالإضافة إلى الحماية من مشاركة وتوزيع المواد التي ربما تم إنشاؤها على المنصات الأخرى. نعالج الصور الجنسية المشتبه بها التي تم إنشاؤها بواسطة الذكاء الاصطناعي للقاصرين مثل صور الاستغلال الجنسي للأطفال وإساءة المعاملة "الأصلية" (CSEAI)، مع إزالة المحتوى بمجرد أن ندرك ذلك، مع تعليق الحساب المنتهك، والإبلاغ عنها إلى المركز الوطني للأطفال المفقودين والمستغلين (NCMEC). هذا بالإضافة إلى الاستفادة من التكنولوجيا ونشرها المُصمّمة لمنع انتشار صور الاستغلال والاعتداء الجنسي على الأطفال CSEAI، بما في ذلك PhotoDNA (للكشف عن نسخ مكررة من الصور غير القانونية المعروفة) ومطابقة CSAI من Google (للكشف عن نسخ مكررة من مقاطع الفيديو غير القانونية المعروفة). كما بدأنا مؤخرًا في استخدام واجهة برمجة تطبيقات سلامة المحتوى من Google (للمساعدة في الكشف عن الصور الجديدة "التي لم يتم تجزئتها من قبل" على المحتوى العام). كما انخرطنا مع NCMEC حول كيفية الاستفادة من التوقيعات الرقمية الفريدة (أو "الناشز") من 4,700 تقرير تلقوها العام الماضي والمتعلقة بمواد الاعتداء الجنسي على الأطفال التي تضمنت الإنشاء بواسطة الذكاء الاصطناعي GenAI. 

نحن نتعاون مع سلطات إنفاذ القانون، وندعم تحقيقاتهم ونستثمر بكثافة في فرق عمليات الثقة والسلامة وإنفاذ القانون العالمية الخاصة بنا التي تعمل على مدار الساعة طوال أيام الأسبوع للمساعدة في الحفاظ على أمان مجتمعنا. نحن نستضيف مؤتمرات قمة سنوية لسلطات إنفاذ القانون في الولايات المتحدة لضمان معرفة الضباط والوكالات بكيفية اتخاذ الإجراء المناسب ضد أي نشاط غير قانوني قد يحدث على منصتنا. 

كما نواصل توسيع أدوات الإبلاغ داخل التطبيق، التي تتضمن خيارات لمجتمعنا للإبلاغ عن التعري والمحتوى الجنسي، وعلى وجه التحديد صور الاستغلال والاعتداء الجنسي على الأطفال CSEAI. ويُعد الإبلاغ عن المحتوى والحسابات التي تنطوي على إشكالية ما أمرًا بالغ الأهمية لمساعدة شركات التكنولوجيا على إزالة الجهات الفاعلة السيئة من أفعالها وإحباط المزيد من النشاط قبل أن يتسبّب في ضرر محتمل للآخرين.

في الآونة الأخيرة، أضفنا ميزات جديدة إلى مجموعة أدوات مركز العائلة الخاصة بنا، التي يمكن لأولياء الأمور استخدامها لفهم كيفية استخدام المراهقين لسناب شات بشكل أفضل، بما في ذلك روبوت الدردشة الذكي الخاص بنا. كما أصدرنا موارد جديدة لمساعدة المعلمين ومديري المدارس على فهم كيفية استخدام طلابهم لسناب شات والموارد التي نقدمها لدعم المدارس في جهودها الرامية إلى إنشاء بيئات آمنة وداعمة للطلاب.

ونواصل الاستثمار في طرق لزيادة الوعي العام ووعي سناب شات بالأضرار الجنسية عبر الإنترنت. يركز تطبيقنا بحلقات "لقطة السلامة" على المخاطر الجنسية، بما في ذلك مواضيع مثل الاستمالة عبر الإنترنت للأطفال والاتجار بهم. كما كنا أول كيان يدعم Know2Protect، وهي حملة تابعة لوزارة الأمن الداخلي الأمريكية تركز على تعليم وتمكين الشباب وأولياء الأمور والبالغين الموثوق بهم وصانعي السياسات حول الإساءة الجنسية للأطفال عبر الإنترنت. 

ونتطلع إلى مواصلة العمل مع جميع أنواع الجهات المعنية - أولياء الأمور والشباب والمعلمين وصانعي السياسات على سبيل المثال لا الحصر - حول هذه الأنواع من القضايا التي تهم المجتمع كُلََّه، ونأمل أن تساعد الأفكار من البحث عبر المنصات في إنشاء أفكار وفرص جديدة لضمان أن يكون الأشخاص على دراية بالتهديدات الحالية والجديدة عبر الإنترنت، والموارد المتاحة للمساعدة في مكافحة هذه المخاطر. 

- فيراج دوشي، قائد سلامة المنصة