حالیہ برسوں میں AI ٹولز کا تیزی سے اضافہ تخلیقی صلاحیتوں، سیکھنے اور کنکشن کے لیے نئے مواقع پیدا کرتا ہے اور کرتا رہے گا۔ تاہم، ٹیکنالوجی نے موجودہ آن لائن خطرات میں نئی حرکیات بھی متعارف کروائی ہیں۔ نئی تحقیق سے پتہ چلتا ہے کہ جیسے جیسے لوگوں کی تعداد میں جنسی طور پر چارج شدہ AI کی تصاویر اور ویڈیوز کا سامنا کرنا پڑتا ہے، اس میں سے کچھ مواد کی غیر قانونی ہونے کے بارے میں آگاہی ایک چیلنج بنتی جارہی ہے۔

تمام پلیٹ فارمز اور سروسز میں نوعمروں اور نوجوان بالغوں کے رویوں اور طرز عمل کے بارے میں بہتر تفہیم حاصل کرنے کے لیے، Snap ہماری ڈیجیٹل ویل-بیئنگ انڈیکس، کہلانے والی سالانہ صنعتی وسیع تحقیق کا انعقات اور اشتراک کرتا ہے۔ (Snap نے تحقیق شروع کی لیکن یہ ڈیجیٹل جگہوں پر جنریشن Z کے تجربات کا احاطہ کرتا ہے، Snapchat پر کوئی خاص توجہ کے بغیر۔)  جبکہ ہم فروری 2025 میں بین الاقوامی محفوظ انٹرنیٹ ڈے کے ساتھ مل کر اپنے تیسرے سال کے مطالعے کے مکمل نتائج جاری کرنے کی منصوبہ بندی کر رہے ہیں، ہم کچھ اہم نتائج پیش کرنا چاہتے ہیں کہ نوعمر، نوجوان بالغ اور یہاں تک کہ والدین کس طرح AI پر مبنی جنسی مواد کے ساتھ مشغول اور اس پر ردعمل ظاہر کر رہے ہیں۔ ہم آج ایسا کر رہے ہیں، اس ہفتے بچوں کے جنسی استحصال اور بدسلوکی پر عالمی توجہ کی روشنی میں، اور ایمپاورونگ وائسز DC سمٹ میں ہماری شرکت کے ساتھ مل کر، جس میں AI سے پیدا ہونے والی جنسی مواد کے ساتھ منسلک نقصانات کو حل کرنے پر توجہ مرکوز کی گئی ہے۔ 

مثال کے طور پر، ہمارے مطالعہ میں، جس نے 6 ممالک میں 9,007 نوعمروں، نوجوانوں بالغوں اور والدین کا سروے کیا ¹، 24 فیصد نے کہا کہ انہوں نے کچھ قسم کی AI سے تیارکردہ تصاویر یا ویڈیوز دیکھیں ہیں جو جنسی نوعیت کی تھیں۔ ان میں سے جو جنہوں نے اس قسم کا دعویٰ کیا، صرف 2 فیصد نے کہا کہ تصویر کشی 18 سال سے کم عمر کی تھی۔

حوصلہ افزا بات یہ ہے کہ جب لوگوں نے اس قسم کا مواد دیکھا تو، 10 میں سے 9 نے کچھ کارروائی کی، مواد کو مسدود کرنے یا حذف کرنے سے لے کر (٪54) بھروسہ مند دوستوں یا خاندان (٪52) سے بات کرنے تک۔ تاہم، صرف 42 فیصد نے کہا کہ انہوں نے مواد کو پلیٹ فارم یا سروس میں رپورٹ کیا جہاں انہوں نے اسے دیکھا، یا ہاٹ لائن / ہیلپ لائن پر۔ یہ بصیرت ڈیجیٹل تحفظ سے متعلق امور پر رپورٹنگ کی شرح میں عام طور پر ایک بڑے رجحان کی پیروی کرتی ہے۔ ہم نے ایک پچھلی پوسٹ میں، رپورٹنگ کے بارے میں منفی تاثرات کا مقابلہ کرنے کی اہمیت کی نشاندہی کی تھی، تاکہ نوجوان اس طرح کے مسائل والے مواد اور عمل کی آن لائن نمائش کو معمول پر نہ لائیں، یا رپورٹنگ کو ٹیٹل ٹیلنگ کے مترادف نہ کریں۔ 

اس سے بھی زیادہ تشویشناک بات یہ ہے کہ 40 فیصد سے زیادہ جواب دہندگان پلیٹ فارمز/سروسز کے لیے نابالغوں کی جنسی تصاویر کی اطلاع دینے کی قانونی ذمہ داری کے بارے میں واضح نہیں تھے، چاہے ایسی تصاویر کا مقصد لطیفہ یا میمز ہی کیوں نہ ہو۔ اور، جبکہ بڑی تعداد (70 فیصد سے زیادہ) نے تسلیم کیا کسی شخص کا جعلی جنسی مواد بنانے کےلیے، یا نابالغ کی جنسی تصاویر کو برقرار رکھنے، دیکھنے یا شیئر کرنے کے لیے AI ٹیکنالوجی کا استعمال غیر قانونی تھا، یہ نتائج بتاتے ہیں کہ ایسا کرنے کے لیے کافی کام ہے، اس بات کو یقینی بنانے کے لیے کہ عام عوام اس قسم کے مواد سے متعلق قانونی تقاضوں سے آگاہ ہوں۔

مثال کے طور پر، امریکہ میں، تقریبا 40 فیصد جواب دہندگان نے کہا کہ وہ سمجھتے ہیں کہ کسی شخص کی جعلی جنسی تصاویر بنانے کے لیے AI ٹیکنالوجی کا استعمال کرنا قانونی ہے۔ اور افسانوی طور پر، ہم نے انڈسٹری کے ساتھیوں سے ایک تشویشناک رجحان کے بارے میں سنا ہے: اس قسم کے مواد کی پھیلاؤ کے ساتھ، خاص طور پر کچھ نوعمر لڑکیاں "نظر انداز ہوتا ہوا" محسوس کر رہی ہیں اگر وہ AI سے ہیرا پھیری والی جنسی تصویروں میں نمایاں نہیں ہوتی ہیں جسے ان کے ساتھی نامناسب طریقے سے تخلیق اور شیئر کر رہے ہیں۔ یہ پریشان کن نقطہ اس مخصوص آن لائن خطرے کے بارے میں تعلیم دینے اور آگاہی بڑھانے کی ضرورت کو مزید زور دیتا ہے، جس میں قابل اعتماد بالغوں اور باخبر ساتھی اس قسم کے رویے کی حوصلہ شکنی میں ایک فعال کردار ادا کرتے ہیں۔  

Snap کی جاری وابستگی

Snap میں، ہم Snapchat اور پورے ٹیک ایکو سسٹم پر محفوظ، صحت مند، اور زیادہ مثبت تجربات کو فروغ دینے میں مدد کے لیے وسائل، ٹولز اور ٹیکنالوجی میں مسلسل سرمایہ کاری کر رہے ہیں۔

کچھ معاملات میں، ہم رویوں کے "سگنل" کا استعمال کرتے ہیں تاکہ ممکنہ طور پر غیر قانونی سرگرمی کی نشاندہی کی جا سکے تاکہ ہم برے عناصر کو فعال طور پر ہٹا دیں اور انہیں حکام کو رپورٹ کر سکیں۔ مزید یہ کہ ایک سروس کے طور پر جس میں ایک بات چیت والا AI چیٹ بوٹ شامل ہے، ہم Snapchat پر اس طرح کے مواد کی ممکنہ پیداوار کو روکنے کے لیے اضافی چوکس ہونے کی کوششیں کرتے ہیں، اور ساتھ ہی مواد کے اشتراک اور تقسیم کے خلاف تحفظ کرتے ہیں جو دوسرے پلیٹ فارمز پر تیار کیا گیا ہو۔ ہم نابالغوں کی مشتبہ AI سے تیار کردہ جنسی تصویروں کے ساتھ "مستند" بچوں کے جنسی استحصال اور بدسلوکی کی تصویر کشی (CSEAI) جیسا ہی سلوک کرتے ہیں، جب ہمیں اس کا علم ہو جاتا ہے تو مواد کو ہٹا دیتے ہیں، خلاف ورزی کرنے والے اکاؤنٹ کو معطل کر دیتے ہیں، اور اسے نیشنل سینٹر فار مسنگ اینڈ ایکپلوئٹڈ چلڈرن (NCMEC) میں رپورٹ کرتے ہیں۔ یہ CSEAI کے پھیلاؤ کو روکنے کے لیے ڈیزائن کردہ ٹیکنالوجی کو فائدہ اٹھانے اور تعیناتی کرنے کے علاوہ ہے، بشمول فوٹو ڈی این اے (غیر قانونی تصاویر کی نقل کا پتہ لگانے کے لیے) اور گوگل کے CSAI میچ (معروف غیر قانونی ویڈیوز کی نقل کا پتہ لگانے کے لیے)۔ ہم نے حال ہی میں گوگل کی کونٹینٹ سیفٹی کی API کا استعمال کرنا شروع کیا ہے (عوامی مواد پر "پہلے کبھی ہیش نہ ہونے والی" تصویروں کا پتہ لگانے میں مدد کے لیے)۔ ہم نے NCMEC کے ساتھ بھی کام کیا ہے کہ وہ 4,700 رپورٹوں میں سے منفرد ڈیجیٹل دستخط (یا "ہیش") سے کیسے فائدہ اٹھا سکتے جو گزشتہ سال موصول ہوئے ہیں بچوں کے جنسی استحسال کے مواد سے متعلق جس میں GenAI شامل ہیں۔

ہم قانون نافذ کرنے والے اداروں کے ساتھ تعاون کرتے ہیں، ان کی تحقیقات کی حمایت کرتے ہیں، اور ہماری عالمی ٹرسٹ اور سیفٹی اور قانون نافذ کرنے والی آپریشنز ٹیموں میں بہت زیادہ سرمایہ کاری کرتے ہیں جو ہماری کمیونٹی کو محفوظ رکھنے میں مدد کے لیے 24 / 7 کام کرتے ہیں۔ ہم امریکہ میں قانون نافذ کرنے والے اداروں کے سالانہ اجلاسوں کی میزبانی کرتے ہیں جس کا مقصد یہ یقینی بنانا ہے کہ افسران اور ایجنسیوں کو معلومات حاصل ہو سکے کہ ہمارے پلیٹ فارم پر ہونے والی کسی بھی غیر قانونی سرگرمی کے خلاف مناسب کارروائی کیسے کی جائے۔ 

ہم اپنے ان ایپ رپورٹنگ ٹولز کو بھی بڑھاتے رہتے ہیں، جس میں ہماری کمیونٹی کے لیے عریانیت اور جسنی مواد پر فلیگ لگانے کے اختیارات اور خاص طور پر CSEAI شامل ہیں۔ تکنیکی کمپنیوں کو خراب عناصر کو اپنی سروسز سے ہٹانے اور مزید سرگرمی کو ناکام بنانے میں مدد کرنے لیے پریشان کن مواد اور اکاؤنٹس کی اطلاع دینا اہم ہے اس سے پہلے کہ یہ ممکنہ طور پر دوسروں کو نقصان پہنچا دے۔ 

حال ہی میں ہم نے اپنے فیملی سینٹر کے ٹولز کے مجموعہ میں نئی خصوصیات شامل کی ہیں، جو والدین بہتر طور پر سمجھنے کے لیے استعمال کر سکتے ہیں کہ ان کے نوعمر Snapchat کا استعمال کیسے کر رہے ہیں، بشمول ہمارے AI چیٹ بوٹ۔ ہم نے اساتذہ اور اسکول کے منتظمین کو یہ سمجھنے میں مدد کے لیے نئے وسائل جاری کیے کہ ان کے طالب علم Snapchat کا استعمال کیسے کرتے ہیں اور وہ وسائل جو ہم اسکولوں کو طلبا کے لیے محفوظ اور معاون ماحول پیدا کرنے کی کوششوں میں مدد کے لیے پیش کرتے ہیں۔

اور، ہم آن لائن جنسی نقصانات کے بارے میں عوامی اور سنیپ چیٹر کی آگاہی بڑھانے کے طریقوں میں سرمایہ کاری جاری رکھے ہوئے ہیں۔ ہماری ان ایپ سیفٹی اسنیپ شاٹ کی اقساط جنسی خطرات پر مرکوز ہیں، بشمول بچوں کی آن لائن گرومنگ اور ٹریفک، جیسے موضوعات شامل ہیں۔ ہم Know2Protect کی حمایت کرنے والے پہلے ادارے تھے جو کہ امریکی محکمہ ہوم لینڈ سیکورٹی کی ایک مہم ہے جو نوجوانوں، والدین، قابل اعتماد بالغان اور پالیسی سازوں کو آن لائن بچوں کے جنسی استحصال کے بارے میں تعلیم دینے اور بااختیار بنانے پر مرکوز ہے۔ 

ہم ہر قسم کے اسٹیک ہولڈرز -- والدین، نوجوان افراد، ماہرین تعلیم اور پالیسی سازوں کے ساتھ کام جاری رکھنے کے منتظر ہیں -- اس قسم کے مجموعی معاشرے کے مسائل پر، اور امید کرتے ہیں کہ ہمارے کراس پلیٹ فارم ریسرچ سے بصیرت نئے خیالات اور مواقع تخلیق کریں تاکہ یہ یقینی بنایا جا سکے کہ لوگ موجودہ اور نئے آن لائن خطرات سے آگاہ ہیں، اور ان خطرات کا مقابلہ کرنے میں مدد کے لیے دستیاب وسائل سے آگاہ ہیں۔ 

— ویراج دوشی، پلیٹ فارم سیفٹی لیڈ