अलिकडच्या वर्षांत AI टूल्स ची वाढ ही सर्जनशीलता, शिक्षण आणि कनेक्शनसाठी नवीन संधी निर्माण करण्यासाठी योगदान देत आले होते आणि ते सुरू आहेत. राहील. तथापि, तंत्रज्ञानाने विद्यमान ऑनलाइन जोखीमींमध्ये नवीन प्रेरक गतीशीलता देखील आणली आहे. नवीन संशोधन असे दर्शविते की लैंगिक आरोहित AI-चित्रण आणि व्हिडिओज् यांचा जे लोक सामना करतात त्यांची संख्या वाढत आहे, या अश्या काही सामग्रीच्या अवैधतेची जाणीव करून देणे हे एक आव्हान आहे.

सर्व प्लॅटफॉर्म आणि सेवांमधील किशोरवयीन आणि तरुण प्रौढांचा दृष्टिकोन आणि वर्तणुक समजून घेण्यासाठी, Snap डिजिटल वेल-बीइंग इंडेक्स नावाचे वार्षिक उद्योग-व्यापी संशोधन आयोजित आणि शेअर करते.  (Snap ने संशोधनाचा वापर केला, परंतु हे Snapchat वर विशिष्ट लक्ष केंद्रित न करता, सामान्यत: डिजिटल स्पेसमध्ये जनरेशन Z चा अनुभव सामायिक करते.)  आम्ही फेब्रुवारी 2025 च्या आंतरराष्ट्रीय सुरक्षित इंटरनेट दिनाच्या संयोगाने आमच्या तिसऱ्या वर्षाच्या स्टडीचा संपूर्ण परिणाम प्रकाशित करण्याचा विचार करत असताना, AI-आधारित लैंगिक सामग्रीवर किशोरवयीन मुले, तरुण प्रौढ आणि अगदी पालक कसे गुंतलेले आहेत आणि यावर ते कसे व कशी प्रतिक्रिया देत आहेत यावर आम्ही काही मुख्य निष्कर्ष पाहू इच्छितो. आम्ही आज असे करत आहोत, कारण आम्ही या आठवड्यात बाल लैंगिक शोषण आणि अत्याचारावर जागतिक लक्ष केंद्रित केले आहे, आणि एमपावरींग व्हॉइसेस डीसी समिटमध्ये आमच्या सहभागाच्या संयोगाने, ज्यात AI-आधारित लैंगिक सामग्रीशी संबंधित हानी दूर करण्यावर लक्ष केंद्रित केले आहे. 

उदाहरणार्थ, आमच्या अभ्यासात, ज्यात 6 देशांतील 9,007 किशोरवयीन मुले, तरुण प्रौढ आणि किशोरवयीन मुलांच्या पालकांचे सर्वेक्षण केले आहे ¹, 24% लोकांनी असे म्हटले आहे की त्यांनी काही प्रकारच्या AI-निर्मित फोटो किंवा व्हिडिओ पाहिले होते जे लैंगिक स्वरुपाचे होते. अश्या प्रकारची सामग्री पाहिली असल्याचा दावा करणाऱ्यांपैकी केवळ 2% लोकांनी सांगितले की ह्या प्रतिमा 18 वर्षांपेक्षा कमी वयाच्या व्यक्तीच्या होत्या.

उत्साहीपणे, जेव्हा लोकांनी या प्रकारची सामग्री पाहिली, तेव्हा 10 पैकी 9 ने काही प्रतिक्रिया दिली, ज्यात सामग्री अवरोधित करणे किंवा हटविणे (54%) पासून ते विश्वसनीय मित्र किंवा कुटुंबाशी याबाबत बोलणे (52%). तथापि, केवळ 42% लोकांनी सांगितले की त्यांनी प्लॅटफॉर्म किंवा सेवेवर त्यांनी जिथे पहिली तिथे ती त्यांनी हॉटलाईन / हेल्पलाइनवर कळवली. ही अंतर्दृष्टी सामान्यपणे डिजिटल सुरक्षा-संबंधित समस्यांवरील कमी अहवाल दरांच्या मोठ्या प्रवृत्तीचे अनुसरण करते. आम्ही आधीच्या पोस्टमध्ये, अहवालाच्या नकारात्मक समजांना विरोध करण्याचे महत्त्व निदर्शनास आणून दिले आहे जेणेकरून तरुण लोक विशिष्ट समस्याप्रधान सामग्रीच्या प्रदर्शनास सामान्य करू शकत नाहीत आणि ऑनलाइन व्यवहार देखील करू शकत नाहीत, किंवा अहवालाची हितगुजींशी बरोबरी करणार नाहीत. 

त्याहूनदेखील चिंताजनक गोष्ट म्हणजे 40% पेक्षा जास्त प्रतिसादकर्ते प्लॅटफॉर्म/सेवांसाठी अल्पवयीनांच्या लैंगिक प्रतिमेची तक्रार करण्याच्या कायदेशीर बंधनाबाबत अस्पष्ट होते, अशी प्रतिमा विनोद किंवा मीम्स च्या हेतूने असल्या तरीही. आणि, मोठ्या संख्येने (70%+) एखाद्या व्यक्तीची बनावट लैंगिक सामग्री तयार करण्यासाठी, किंवा अल्पवयीन मुलांची लैंगिक प्रतिमा ठेवण्यासाठी, पाहण्यासाठी किंवा सामायिक करण्यासाठी AI तंत्रज्ञान वापरणे बेकायदेशीर असल्याचे ओळखले जात असताना, हे निष्कर्ष सूचित करतात की सामान्य लोकांना या प्रकारच्या सामग्रीशी संबंधित कायदेशीर आवश्यकतांची जाणीव आहे याची खात्री करण्यासाठी बरेच काम बाकी आहे.

उदाहरणार्थ, यूएस मध्ये, जवळजवळ 40% प्रतिसादकर्त्यांनी सांगितले की त्यांचा विश्वास आहे की एखाद्या व्यक्तीच्या बनावट लैंगिक प्रतिमा तयार करण्यासाठी AI तंत्रज्ञान वापरणे कायदेशीर आहे. आणि, किस्सा सांगायचे तर, आम्ही उद्योगातील सहकाऱ्यांकडून संबंधित ट्रेंडबद्दल ऐकले आहे: या प्रकारच्या सामग्रीच्या प्रसारामुळे, काही किशोरवयीन मुलींना विशेषतः त्यांच्या समवयस्कांच्या एआय-फेरफार केलेल्या, अयोग्यरित्या तयार केलेल्या आणि सामायिक केलेल्या लैंगिक प्रतिमांमध्ये वैशिष्ट्यीकृत केले नसल्यास त्यांना "बाहेर ठेवले जात आहोत" असे वाटते. हा त्रासदायक मुद्दा विशिष्ट ऑनलाइन जोखमींबद्दल शिक्षित आणि जागरूकता वाढवण्याची गरज अधोरेखित करतो, विश्वासू प्रौढ आणि जाणकार समवयस्कांनी या प्रकारच्या वर्तनाला परावृत्त करण्यात सक्रिय भूमिका बजावली पाहिजे.  

Snap आताची असलेली वचनबद्धता

Snapchat मध्ये, आम्ही Snapchat वर आणि टेक पर्यावरणातील सुरक्षित, स्वस्थ आणि अधिक सकारात्मक अनुभव वाढविण्यासाठी संसाधने, साधने आणि तंत्रज्ञानात सतत गुंतवणूक करत आहोत.

काही प्रकरणांमध्ये, आम्ही संभाव्य बेकायदेशीर क्रियाकलाप ओळखण्यासाठी वर्तणुकीशी संबंधित "सिग्नल" वापरतो, जेणेकरुन आम्ही वाईट लोकांना सक्रियपणे काढून टाकू आणि अधिकाऱ्यांना त्यांची तक्रार करू शकू. शिवाय, संभाषणात्मक AI चॅटबॉटचा समावेश असलेली सेवा म्हणून, आम्ही Snapchat वर अशा प्रकारच्या सामग्रीची संभाव्य निर्मिती रोखण्यासाठी, तसेच इतर प्लॅटफॉर्मवर तयार केलेल्या सामग्रीचे सामायिकरण आणि वितरणापासून संरक्षण करण्यासाठी अतिरिक्त सतर्क राहण्यासाठी प्रयत्न करतो. आम्ही अल्पवयीन मुलांच्या संशयित AI-व्युत्पन्न लैंगिक प्रतिमांना "अस्सल" बाल लैंगिक शोषण आणि गैरवर्तन इमेजरी (CSEAI) प्रमाणेच वागवतो, आम्हाला याची जाणीव झाल्यावर आशय काढून टाकतो, उल्लंघन करणारे खाते निलंबित करतो, आणि हे नेशनल सेंटर फॉर मिसिंग एंड एक्सप्लोइड चिल्ड्रन (NCMEC) वर रिपोर्ट करतो. हे PhotoDNA (ज्ञात बेकायदेशीर प्रतिमांचे डुप्लिकेट शोधण्यासाठी) आणि Google चे CSAI मॅच (ज्ञात बेकायदेशीर व्हिडिओंचे डुप्लिकेट शोधण्यासाठी) यासह CSEAI चा प्रसार रोखण्यासाठी डिझाइन केलेल्या तंत्रज्ञानाचा लाभ आणि उपयोजन करण्याव्यतिरिक्त आहे. आम्ही अलीकडेच Google चे Content Safety API (सार्वजनिक सामग्रीवरील "काहीही-आधी-हॅश न केलेली" प्रतिमा शोधण्यात मदत करण्यासाठी) वापरण्यास सुरुवात केली आहे. GenAI चा समावेश असलेल्या बाल लैंगिक शोषण सामग्रीशी संबंधित त्यांना गेल्या वर्षी मिळालेल्या 4,700 अहवालांपैकी अनन्य डिजिटल स्वाक्षरी (किंवा "हॅश") चा फायदा कसा घ्यायचा यावरही आम्ही NCMEC सोबत गुंतलो आहोत. 

आम्ही कायद्याच्या अंमलबजावणीसह सहयोग करतो, त्यांच्या तपासांना समर्थन देतो आणि आमच्या जागतिक ट्रस्ट आणि सेफ्टी आणि लॉ इंफोर्समेंट ऑपरेशन्स टीममध्ये मोठ्या प्रमाणात गुंतवणूक करतो जे आमच्या समुदायाला सुरक्षित ठेवण्यासाठी 24/7 काम करतात. आमच्या प्लॅटफॉर्मवर होत असलेल्या कोणत्याही बेकायदेशीर क्रियाकलापांविरूद्ध योग्य कारवाई कशी करावी हे अधिकारी आणि एजन्सींना माहित आहे याची लक्ष्य देऊन खात्री करण्यासाठी आम्ही अमेरिकेत कायद्याच्या अंमलबजावणीसाठी वार्षिक शिखर परिषदांचे आयोजन करतो. 

आम्ही आमच्या ॲप-मधील रिपोर्टिंग टूल्सचा विस्तार करणे देखील सुरू ठेवतो, ज्यामध्ये आमच्या समुदायासाठी नग्नता आणि लैंगिक सामग्री फ्लॅग करण्याचे पर्याय आणि विशेषतः CSEAI समाविष्ट आहे. तांत्रिक कंपन्यांना त्यांच्या सेवांमधून वाईट व्यक्ती काढून टाकण्यात आणि इतरांना संभाव्य हानी होण्याआधी पुढील क्रिया रोखण्यात मदत करण्यासाठी समस्याप्रधान सामग्री आणि खात्यांची तक्रार करणे अत्यंत महत्वाचे आहे. 

अलीकडे, आम्ही कौटुंबिक केंद्र टूल्समध्ये नवीन वैशिष्ट्ये जोडली आहेत, जे पालक त्यांची किशोरवयीन मुले आमचे AI चॅटबॉट तसेच Snapchat कसे वापरत आहेत हे समजून घेण्यासाठी वापरू शकतात. आम्ही शिक्षक आणि शाळा प्रशासकांना त्यांचे विद्यार्थी Snapchat कसे वापरतात आणि विद्यार्थ्यांसाठी सुरक्षित आणि आश्वासक वातावरण तयार करण्यासाठी आम्ही शाळांना त्यांच्या प्रयत्नांमध्ये मदत करण्यासाठी नवीन संसाधने देखील प्रकाशित केली आहेत.

आणि, आम्ही ऑनलाइन लैंगिक हानीबद्दल सार्वजनिक आणि Snapchatter ची जागरूकता वाढविण्यासाठी मार्ग शोधणे सुरू आहे. आमचे इन-ॲप "सुरक्षा Snapshot" चे एपिसोड ज्यात मुख्यत्वेकरून लैंगिक जोखमी, तसेच लहान मुलांच्या ग्रूमिंग आणि तस्करी सारख्या विषयांवर लक्ष केंद्रित केले आहे. आम्ही Know2Protect चे समर्थन करणारी ही पहिली संस्था आहोत, जी यूएस डिपार्टमेंट ऑफ होमलँड सिक्युरिटी मोहिमेने तरुणांना, पालकांना, विश्वासार्ह प्रौढांना आणि ऑनलाइन बाल लैंगिक शोषणाबद्दल शिक्षित आणि सक्षम बनविण्यावर लक्ष केंद्रित करते. 

आम्ही विभिन्न सामाजिक समस्यांवर सर्व प्रकारच्या भागधारकांसोबत काम सुरू ठेवण्यास उत्सुक आहोत -- जसे पालक, तरुण लोक, शिक्षक आणि धोरणकर्ते -- आणि या सर्व प्रकारच्या विभिन्न सामाजिक समस्यांवर आम्ही आशा करतो की आमच्या क्रॉस-प्लॅटफॉर्मवरील संशोधनातून मिळणाऱ्या अंतर्दृष्टीचा, लोकांना नवीन कल्पना आणि संधी निर्माण करण्यात तसेच विद्यमान आणि नवीन ऑनलाइन धोक्यासंबंधी आणि या जोखमींचा सामना करण्यास मदत करण्यासाठी उपलब्ध संसाधनांची जाणीव ठेवण्यास मदत करेल 

— विराज दोशी, प्लॅटफॉर्म सेफ्टी लीड