ఇటీవలి సంవత్సరాలలో AI సాధనాలు వేగంగా పెరగడం వల్ల సృజనాత్మకత, అభ్యసనం మరియు కనెక్షన్ కోసం కొత్త అవకాశాలు సృస్టించించబడ్డాయి మరియు సృష్టించబడుతున్నాయి. అయినప్పటికీ, సాంకేతిక పరిజ్ఞానం కూడా ఇప్పటికే ఉన్న ఆన్‌లైన్ రిస్క్ లకు కొత్త డైనమిక్స్ ను మరియు కారకాలను ప్రవేశపెట్టింది. ఆన్‌లైన్ లో లైంగికంగా విధించబడిన AI-ఇమేజ్ లు మరియు వీడియోలను ఎదుర్కొన్న వ్యక్తుల సంఖ్య పెరుగుతూ పోతున్నందున, ఈ కంటెంట్ యొక్క కొంతభాగం యొక్క చట్టవిరుద్ధత గురించి అవగాహన కల్పించడం ఒక ఛాలెంజ్ గా కొనసాగుతుందని కొత్త పరిశోధన చూపిస్తుంది.

ప్లాట్‌ఫామ్స్ మరియు సేవ‌లు అన్నింటి వ్యాప్తంగా యుక్తవయస్కులు మరియు యువత వైఖరులు మరియు ప్రవర్తనల పట్ల మెరుగైన అవగాహన పొందడం కోసం, Snap మా డిజిటల్ శ్రేయస్సు సూచిక అని పిలవబడే వార్షిక పరిశ్రమ-వ్యాప్త పరిశోధనను నిర్వహిస్తుంది మరియు పంచుకుంటుంది.  ( Snap ఈ పరిశోధనను ప్రారంభించింది, Snapchat పై నిర్దిష్టమైన దృష్టి సార్తింపు లేకుండా Snap పరిశోధనను ఏర్పాటు చేసింది, అయితే ఇది సాధారణంగా డిజిటల్ చోటులో తరం Z యొక్క అనుభవాలను కవర్ చేస్తుంది.)  2025 ఫిబ్రవరిలో మేము మా ఇయర్ త్రీ అధ్యయనాల పూర్తి ఫలితాలను అంతర్జాతీయ సురక్షిత ఇంటర్నెట్ దినోత్సవంతో కలిపి విడుదల చేయాలని యోచిస్తుండగా, యుక్తవయస్కులు, పెద్ద పిల్లలు మరియు తల్లిదండ్రులు సైతమూ జనరేటివ్ AI-ఆధారిత లైంగిక కంటెంట్‌ పట్ల ఎలా నిమగ్నం అవుతున్నారో మరియు దానికి ఎలా స్పందిస్తున్నారో అనేదానిపై మేము కొన్ని కీలక ఫలితాలను ముందస్తుగా సమీక్ష చేయాలనుకుంటున్నాము. మేము ఈ వారంలో పిల్లల లైంగిక దోపిడీ మరియు దురుపయోగంపై ప్రపంచ దృష్టి సారింపు నేపధ్యంలో మేము ఆ పని చేస్తున్నాము, మరియు AI చే-ఉత్పన్నమైన లైంగిక కంటెంటుతో ముడిపడి ఉన్న హానులను పరిష్కరించడంపై దృష్టి సారింపుతో నిర్వహించబడే Empowering Voices DC సదస్సులో మేము పాల్గొనడం ద్వారా అలా కలిసి పని చేస్తున్నాము.

ఉదాహరణకు, మా అధ్యయనంలో, 6 దేశాల వ్యాప్తంగా 9,007 మంది యుక్తవయస్కులు, యువత, మరియు యుక్తవయస్కుల తల్లిదండ్రులతో సర్వే చేయబడింది ¹, 24% మంది లైంగిక స్వభావాన్ని కలిగి ఉన్న AI-ఉత్పాదక చిత్రాలు లేదా వీడియోలను చూసినట్లుగా చెప్పారు. ఈ రకమైన కంటెంట్ చూసినట్లుగా చెప్పిన వారిలో 2% మంది మాత్రమే ఈ చిత్రావళి 18 సంవత్సరాల కంటే తక్కువ వయస్సు ఉన్నవారిదని చెప్పారు.

ప్రోత్సాహకరంగా, ప్రజలు ఈ రకమైన కంటెంట్‌ను చూసినప్పుడు, 10 మందిలో 9 మంది కంటెంట్ ను నిరోధించడం లేదా తొలగించడం (54%) నుండి విశ్వసనీయ స్నేహితులు లేదా కుటుంబంతో మాట్లాడటం (52%) వరకు కొన్ని చర్యలు తీసుకున్నారు. అయినప్పటికీ, కేవలం 42% మంది మాత్రమే కంటెంట్ ను తాము చూసిన చోట ప్లాట్ఫామ్ లేదా సేవకు లేదా ఒక హాట్‌లైన్ / హెల్ప్ లైన్ కు నివేదించినట్లుగా చెప్పారు. ఈ గ్రాహ్యత సాధారణంగా డిజిటల్ భద్రత-సంబంధిత సమస్యలపై తక్కువ రిపోర్టింగ్ రేట్ల యొక్క భారీ పోకడను అనుసరిస్తుంది. మేము మునుపటి పోస్ట్ లో, రిపోర్టింగ్ కు సంబంధించిన ప్రతికూల భావనలన పట్ల వ్యతిరేకంగా వ్యవహరించే ప్రాముఖ్యతను ఎత్తి చూపించాము, తద్వారా యువకులు కొన్ని సమస్యాత్మక కంటెంట్ కు గురికావడం మరియు ఆన్ లైన్ లో నిర్వహించడం లేదా రిపోర్టింగ్ ను టాటిల్-టాలింగ్/ రహస్యాలను బయలు చేయడం తో సమానం చేయరు. 

మరింత అప్రమత్తం చేస్తున్న విషయం ఏమిటంటే, అటువంటి చిత్రాలు జోకులు లేదా ఛలోక్తులుగా ఉద్దేశించబడి ఉన్నా సైతమూ, మైనర్ల లైంగిక చిత్రాలను నివేదించడానికి ప్లాట్‌ఫామ్స్/సేవలకు గల చట్టపరమైన బాధ్యతపై 40% మంది ప్రతిస్పందకులు స్పష్టత లేకుండా ఉన్నారు. మరియు, ఒక వ్యక్తి యొక్క నకిలీ లైంగిక కంటెంట్ సృష్టించడానికి లేదా మైనర్ల యొక్క లైంగిక చిత్రాలను నిలుపుకోవడానికి, వీక్షించడానికి, లేదా పంచుకోవడానికి AI టెక్నాలజీని ఉపయోగించడం చట్టవిరుద్ధమని ఒక పెద్ద సంఖ్యలో (70% +) గుర్తించినా కూడా, సాధారణ ప్రజానీకం ఈ రకమైన కంటెంట్ కు సంబంధించిన చట్టపరమైన అవసరాల గురించి అవగాహన కలిగి ఉండేలా నిర్ధారించుకోవడానికి గణనీయమైన పని చేయాల్సి ఉందని ఈ పరిశోధన ఫలితాలు సూచిస్తున్నాయి.

ఉదాహరణకు, U.S.లో, ఒక వ్యక్తి యొక్క నకిలీ లైంగిక చిత్రాలను సృష్టించడానికి AI టెక్నాలజీని ఉపయోగించడం చట్టబద్ధమేనని దాదాపు 40% మంది ప్రతిస్పందకులు నమ్ముతారు. మరియు, అనిశ్చితంగా, మేము పరిశ్రమ సహోద్యోగుల నుండి ఒక సంబంధిత పోకడ గురించి విన్నాము: ఈ రకమైన కంటెంట్ యొక్క వ్యాప్తితో, ప్రత్యేకించి కొందరు టీనేజ్ అమ్మాయిలు తమ సహచరులు అనుచితంగా సృష్టించిన మరియు పంచుకున్న AI-మ్యానిపులేటెడ్ లైంగిక చిత్రావళిలో తాము కనిపించకపోతే వారు తమని "వదిలివేసినట్లు" భావనకు గురవుతున్నారు. ఈ ఇబ్బందికరమైన అంశము, ఈ రకమైన ప్రవర్తనను నిరుత్సాహపరిచేందుకు ఒక క్రియాశీల పాత్ర పోషిస్తున్న విశ్వసనీయ పెద్దలతో ఈ నిర్దిష్ట ఆన్‌లైన్ ముప్పు గురించి అవగాహన కల్పించవలసిన మరియు అవగాహన పెంచవలసిన అవసరం పట్ల మరింత ప్రాధాన్యతను తెలియజేస్తుంది.

Snap యొక్క కొనసాగుతున్న నిబద్ధత

Snapchat పై మరియు సాంకేతిక పర్యావరణ వ్యవస్థ వ్యాప్తంగా సురక్షితమైన, ఆరోగ్యకరమైన మరియు మరింత సానుకూల అనుభవాలను ప్రోత్సహించడానికి సహాయపడే వనరులు, టూల్స్ మరియు టెక్నాలజీలో మేము Snap యందు నిరంతరం పెట్టుబడి చేస్తున్నాము.

కొన్ని ఉదంతాల్లో, మేము సంభావ్యతగా చట్టవిరుద్ధమైన కార్యాచరణను గుర్తించడానికి ప్రవర్తనా సంబంధిత “సంకేతాలను” ఉపయోగిస్తాము, తద్వారా మేము చెడు చేసేవారిని ముందస్తు చొరవతో తొలగించవచ్చు మరియు అధికారులకు వారి గురించి రిపోర్ట్ చేయవచ్చు. అంతేకాకుండా, ఒక సంభాషణాత్మక AI చాట్‌బోట్ కలిగి ఉన్న ఒక సేవగా, Snapchat పై అటువంటి సామాగ్రి ఉత్న్నమయ్యే సంభావ్యతను నివారించడంలో మేము అదనంగా అప్రమత్తంగా ఉండటానికి ప్రయత్నాలు చేస్తాము, అలాగే ఇతర ప్లాట్‌ఫామ్స్ పై ఉత్పన్నమైన సామాగ్రిని పంచుకోవడం మరియు పంపిణీపై మా కమ్యూనిటీకి రక్షణ కల్పించాము. మాకు మైనర్ల యొక్క అనుమానిత AI-ఉత్పాదిత లైంగిక చిత్రావళి గురించి తెలిసిన వెంటనే ఆ కంటెంటును తొలగిస్తూ, ఉల్లంఘించినట్టి అకౌంట్ ను నిలిపివేస్తూ దానిని మేము "అధీకృతమైన" బాలల లైంగిక దోపిడీ మరియు దుర్వినియోగం చిత్రావళి (CSEAI) లాగానే చూస్తాము, మరియు దానిని National Center for Missing and Exploited Children (NCMEC) కు నివేదిస్తాము. ఇది PhotoDNA (తెలిసిన చట్టవిరుద్ధమైన చిత్రాల యొక్క నకిలీలను గుర్తించడం) మరియు Google యొక్క CSAI మ్యాచ్ (తెలిసిన చట్టవిరుద్ధమైన వీడియోల యొక్క నకిలీలను గుర్తించడం) తో సహా CSEAI యొక్క వ్యాప్తిని నివారించడానికి రూపొందించిన సాంకేతిక పరిజ్ఞానాన్ని ఉపయోగించుకోవడం మరియు వినియోగించుకోవడంతో పాటుగా జరుగుతుంది. మేము ఇటీవలనే Google యొక్క కంటెంట్ భద్రతా API ను (పబ్లిక్ కంటెంట్ పై నూతన, "ఇంతకు ముందెప్పుడూ-హ్యాష్ చేయబడని" చిత్రాలను గుర్తించడంలో సహాయపడటానికి) ఉపయోగించడం కూడా ప్రారంభించాము. మేము GenAI ఇమిడి ఉన్న బాలల లైంగిక వేధింపు సామగ్రికి సంబంధించి గత సంవత్సరం అందుకున్న 4,700 నివేదికల యొక్క విశిష్ట డిజిటల్ సంతకాల (లేదా "హాష్ లు") ను ఎలా ఉపయోగించుకోవాలనేదానిపై NCMEC తో కూడా నిమగ్నమై ఉన్నాము.

మేము మా కమ్యూనిటీని సురక్షితంగా ఉంచడానికి గాను 24/7 పనిచేసే మా గ్లోబల్ ట్రస్ట్ మరియు భద్రతా మరియు లా ఎన్‌ఫోర్స్‌మెంట్ ఆపరేషన్స్ జట్లలో భారీగా పెట్టుబడి చేస్తూ మరియు మా గ్లోబల్ ట్రస్ట్‌లో తమ పరిశోధనలకు మద్దతు ఇవ్వడం ద్వారా చట్ట అమలు అధికారులతో సమన్వయం చేసుకున్నాము. మా ప్లాట్‌ఫామ్‌లో జరిగే అవకాశం ఉండే ఏదైనా చట్టవిరుద్ధమైన కార్యకలాపాలకు తీసుకోవాలో అధికారులు మరియు ఏజెన్సీలకు తెలిసేలా చేయడమే లక్ష్యంగా మేము U.S. లో చట్టం అమలు చేసే అధికారులు మరియు ఏజెన్సీల కోసం వార్షిక సభలకు ఆతిథ్యం ఇచ్చాము.

మేము మా ఇన్-యాప్ రిపోర్టింగ్ సాధనాలను విస్తరించడం కూడా కొనసాగిస్తాము, ఇందులో మా కమ్యూనిటీ కోసం నగ్నత్వం మరియు లైంగిక కంటెంట్ నిలువరించడానికి మరియు ప్రత్యేకంగా CSEAI కు తెలియజేయడానికి ఎంపికలు ఉంటాయి. సాంకేతిక కంపెనీలు తమ సేవల నుండి చెడు చేసేవారిని తొలగించడంలో మరియు ఇతరులకు హాని కలిగించే కార్యాచరణను అడ్డుకోవడానికి సహాయపడటంలో సమస్యాత్మక కంటెంట్ మరియు ఖాతాలను రిపోర్టు చేయడం చాలా కీలకం.

ఇటీవలనే, మేము మా ఫ్యామిలీ సెంటర్ సాధనాల కూర్పుకు, మా AI చాట్‌బోట్ తో సహా తమ యుక్తవయస్కులు Snapchat ను ఎలా ఉపయోగిస్తున్నారో తల్లిదండ్రులు బాగా అర్థం చేసుకోవడానికి ఉపయోగించగల కొత్త ఫీచర్లను జోడించాము. అధ్యాపకులు మరియు పాఠశాల నిర్వాహకులకు వారి విద్యార్థులు Snapchat ను ఎలా ఉపయోగిస్తారో అర్థం చేసుకోవడానికి మరియు విద్యార్థులకు సురక్షితమైన మరియు సహాయక వాతావరణాన్ని సృష్టించే ప్రయత్నాలలో పాఠశాలలకు సహాయపడటానికి మేము అందించే కొత్త వనరులనుకూడా విడుదల చేశాము.

మరియు, మేము ఆన్‌లైన్ లైంగిక హానుల గురించి ప్రజలకు మరియు Snapచాటర్లకు అవగాహన పెంచడానికి మేము అనేక మార్గాల్లో పెట్టుబడి చేయడం కొనసాగిస్తున్నాము. మా ఇన్-యాప్ "సేఫ్టీ స్నాప్‌షాట్" ఎపిసోడ్ లు బాలల ఆన్‌లైన్ లైంగిక వేధింపు మరియు అక్రమ రవాణా వంటి అంశాలతో సహా లైంగిక ముప్పులపై దృష్టి సారించాయి. మేము Know2Protect‌ కు మద్దతు ఇచ్చే మొట్టమొదటి ప్రతిపత్తి సంస్థగా కూడా ఉన్నాము, అది ఆన్‌లైన్ బాలల లైంగిక వేధింపు గురించి యువకులు, తల్లిదండ్రులు, విశ్వసనీయ పెద్దలు, మరియు విధాన నిర్ణేతలకు అవగాహన మరియు సాధికారత కల్పించడంపై దృష్టి సారించే యు.ఎస్ డిపార్ట్‌మెంట్ ఆఫ్ హోమ్ ల్యాండ్ సెక్యూరిటీ ప్రచారోద్యమంగా ఉంది.

ఈ రకమైన మొత్తం సామాజిక సమస్యలపై అన్ని రకాల హక్కుదారులతో -- కొందరిని పేర్కొనాలంటే తల్లిదండ్రులు, యువకులు, విద్యావేత్తలు మరియు విధాన నిర్ణేతలతో పని చేయడానికి మేము ఎదురుచూస్తున్నాము, మరియు ప్రజలు ఇప్పటికే ఉన్న మరియు కొత్త ఆన్‌లైన్ బెదిరింపులు గురించి అవగాహన కలిగి ఉన్నారని నిర్ధారించుకోవడానికి మా ప్లాట్‌ఫామ్-పరస్పర పరిశోధన నుండి గ్రాహ్యతలు కొత్త ఆలోచనలు మరియు అవకాశాలను సృష్టించడానికి మరియు ఈ ముప్పును ఎదుర్కోవడానికి సహాయపడే వనరులను అందుబాటులో ఉంచగలవనీ మేము ఆశిస్తున్నాము.

— విరాజ్ దోషి, ప్లాట్‍ఫాం సేఫ్టీ లీడ్