તાજેતરના વર્ષોમાં AI સાધનોમાં ઝડપી વધારાથી સર્જનાત્મકતા, શિક્ષણ અને જોડાણ માટે નવી તકો ઊભી થઈ છે અને નવી બનવાની ચાલુ રહેશે. જોકે, ટેકનોલોજીએ વર્તમાન ઑનલાઇન જોખમો માટે પણ નવી ગતિશીલતા રજૂ કરી છે. નવું સંશોધન દર્શાવે છે કે ઑનલાઇન પર જાતીય આવેશવાળી AI-છબીઓ અને વીડિયોઝનો સામનો કરનાર લોકોની સંખ્યા વધી રહી છે, આવી સામગ્રીના ગેરકાનૂની હોવા અંગે જાગૃતિ હજી સુધી ચેલેન્જ બની રહી છે.

તમામ પ્લેટફોર્મ્સ અને સેવાઓ પર કિશોરો અને યુવા વયસ્કોના વલણો અને વર્તણૂકોની વધુ સારી સમજણ મેળવવા માટે, Snap એ અમારા ડિજિટલ વેલ-બિઇંગ ઇન્ડેક્સ નામના વાર્ષિક ઉદ્યોગવ્યાપી સંશોધનને સંચાલિત અને શેર કરે છે.  (Snap એ સંશોધન શરુ કર્યું હતું પરંતુ તે Snapchat પર કોઈ ચોક્કસ ધ્યાન કેન્દ્રિત કર્યા વગર, સામાન્ય રીતે તમામ ડિજિટલ સ્થાનો પર જનરેશન Zના અનુભવોને આવરી લે છે.)  જ્યારે અમે ફેબ્રુઆરી 2025માં આંતરરાષ્ટ્રીય સલામત ઇન્ટરનેટ દિવસ સાથે જોડાણમાં અમારા ત્રીજા વર્ષના અભ્યાસના સંપૂર્ણ પરિણામો પ્રકાશિત કરવાની યોજના કરી રહ્યાં છીએ, ત્યારે અમે કિશોરો, યુવા વયસ્કો અને માતાપિતા વિશે પણ કેટલાક મુખ્ય નિષ્કર્ષોની ઝાંખી કરાવવા માંગીએ છીએ કે કેવી રીતે તેઓ જનરેટિવ AI-આધારિત જાતીય સામગ્રી સાથે સંકળાઈ રહ્યાં છે અને પ્રતિક્રિયા આપી રહ્યાં છે. અમે આજે જ, આ અઠવાડિયે બાળ જાતીય શોષણ અને દુર્વ્યવહાર પર વૈશ્વિક ધ્યાન કેન્દ્રિત કરવાનાં પ્રકાશમાં અને DC શિખર સંમેલનમાં એવી અવાજોને સશક્ત કરવાની અમારી ભાગીદારી સાથે કરી રહ્યાં છીએ, કે જેઓએ AI-જનરેટેડ જાતીય સામગ્રી સાથે સંકળાયેલ નુકસાનોને સંબોધવા પર ધ્યાન કેન્દ્રિત કર્યું છે. 

ઉદાહરણ તરીકે, અમારા અભ્યાસમાં કે જેમાં 6 દેશોના 9,007 કિશોરો, યુવા વયસ્કો અને કિશોરોના માતાપિતા પર સર્વેક્ષણ કરવામાં આવ્યું હતું ¹, તેમાં 24% એ જણાવ્યું હતું કે તેઓએ પ્રકૃતિમાં જાતીય હોય તેવી કેટલાક પ્રકારની AI-જનરેટેડ છબીઓ અથવા વીડિયોઝ જોઈ હતી. જે લોકોએ આ પ્રકારની સામગ્રી જોવાનો દાવો કર્યો હતો, તેમાંથી માત્ર 2% જણાવ્યું હતું કે છબીઓ 18 વર્ષથી ઓછી ઉંમરના કોઈ વ્યક્તિની હતી.

પ્રોત્સાહક રીતે, જ્યારે લોકોએ આ પ્રકારની સામગ્રી જોઈ હતી, ત્યારે 10 માંથી 9 લોકોએ કોઈ કાર્યવાહી કરી હતી, જેમાં આવી સામગ્રીને અવરોધિત અથવા કાઢી નાંખવાથી માંડીને (54%) વિશ્વસનીય મિત્રો અથવા પરિવાર સાથે વાત કરવાનું (52%) શામેલ છે. જોકે, માત્ર 42% એ જણાવ્યું હતું કે તેઓ પ્લેટફોર્મ અથવા સેવા પર જ્યાં તેઓએ તે સામગ્રી જોઈ હતી અથવા હોટલાઇન/હેલ્પલાઇન પર સામગ્રીનો અહેવાલ આપ્યો હતો. આ સમજ સામાન્ય રીતે ડિજિટલ સુરક્ષા-સંબંધિત મુદ્દાઓ પર અહેવાલ આપવાની ઓછી દરોનો મોટો વલણ દર્શાવે છે. અમે અગાઉ પોસ્ટમાં આના તરફ ધ્યાન દોર્યું હતું કે અહેવાલ આપવા અંગેની નકારાત્મક ધારણાઓનો સામનો કરવો મહત્વપૂર્ણ છે જેથી યુવા લોકો ચોક્કસ સમસ્યારૂપ સામગ્રીના સંપર્કને સામાન્ય ન માને અને ઑનલાઇન આચરણ કરવાની અથવા અહેવાલ આપવાની ચુગલી કરવા સાથે સરખામણી ન કરે. 

વધુ ચિંતાજનક એ છે કે આવી છબીઓ ભલે તેનો ઇરાદો જોક્સ અથવા મીમ્સ તરીકે હોય, તેમ છતાં 40% થી વધુ જવાબઆપનારો આવી સગીરોની જાતીય છબીઓનો અહેવાલ આપવા માટે પ્લેટફોર્મ્સ/સેવાઓ માટેની કાનૂની જવાબદારી વિશે અસ્પષ્ટ હતા. અને જ્યારે મોટી સંખ્યા (70%+)માં લોકો જાણતા હતા કે કોઈ વ્યક્તિની નકલી જાતીય સામગ્રી બનાવવા માટે અથવા સગીરોની જાતીય છબીઓને જાળવી રાખવા, જોવા અથવા શેર કરવા માટે AI ટેકનોલોજીનો ઉપયોગ કરવો તે ગેરકાનૂની છે, આ નિષ્કર્ષ સૂચવે છે કે સામાન્ય જનતા આ પ્રકારની સામગ્રી સંબંધિત કાનૂની જરૂરિયાતો વિશે જાગરુક હોય તે સુનિશ્ચિત કરવા માટે નોંધપાત્ર કામ કરવું જરૂરી છે.

ઉદાહરણ તરીકે, યુ.એસ.માં, અંદાજે 40% જવાબઆપનારાઓએ જણાવ્યું હતું કે તેઓ માનતા હતા કે કોઈ વ્યક્તિની નકલી જાતીય છબી બનાવવા માટે AI ટેકનોલોજીનો ઉપયોગ કરવો કાનૂની છે. અને અનૌપચારિક રીતે, અમે ઉદ્યોગ સહયોગીઓ તરફથી એક ચિંતાજનક વલણ વિશે સાંભળ્યું છે: આ પ્રકારની સામગ્રીના પ્રસારણની સાથે, ખાસ કરીને કેટલીક કિશોર છોકરીઓ "છોડી દીધા"ની લાગણી અનુભવતી હોય છે જો તેઓ AI-દ્વારા ચેડાં કરેલી જાતીય છબીઓમાં દર્શાવવામાં આવતી ન હોય કે જે તેમના સાથીદારો અયોગ્ય રીતે બનાવી અને શેર કરી રહ્યાં છે. આ પરેશાન કરનાર બાબત વધુ વિશ્વસનીય વયસ્કો સાથે અને આ પ્રકારની વર્તણૂકને હતોત્સાહિત કરવા માટે સક્રિય ભૂમિકા ભજવતા માહિતગાર સાથીદારો સાથે, આ ચોક્કસ ઑનલાઇન જોખમ વિશે શિક્ષિત કરવા અને જાગૃતિ લાવવાની જરૂરિયાતને વધુ રેખાંકિત કરે છે.  

Snapની ચાલુ પ્રતિબદ્ધતા

Snap પર, અમે Snapchat પર અને સમસ્ત ટેક ઇકોસિસ્ટમ પર વધુ સુરક્ષિત, સ્વસ્થ અને વધુ હકારાત્મક અનુભવોને પ્રોત્સાહન આપવામાં મદદ કરવા માટે સતત સંસાધનો, સાધનો અને ટેકનોલોજીમાં રોકાણ કરી રહ્યાં છીએ.

કેટલાક કિસ્સામાં, અમે સંભવિત રીતે ગેરકાનૂની પ્રવૃત્તિની ઓળખ કરવા માટે વર્તણૂક "સંકેતો"નો ઉપયોગ કરીએ છીએ જેથી અમે છેતરનારાઓને સક્રિયપણે દૂર કરી શકીએ છીએ અને સત્તાઓને તેઓની જાણ કરીએ છીએ. વધુમાં, એવી સેવા કે જેમાં વાતચીત કરતું AI ચેટબોટ શામેલ હોય છે, અમે Snapchat પર આવી સામગ્રીના સંભવિત જનરેટ થવાને અટકાવવા માટે વધારે સતર્ક રહેવાના પ્રયત્નો કરીએ છીએ અને સાથે અન્ય પ્લેટફોર્મ્સ પર જનરેટ થઈ હોઈ શકે તેવી સામગ્રીને શેર અને વિતરણ કરવા સામે રક્ષણ આપીએ છીએ. અમે શંકાસ્પદ AI-જનરેટેડ કિશોરોની જાતીય છબીઓને "સાચી" બાળ જાતીય શોષણ અને દુર્વ્યવહાર છબીઓ (CSEAI) ની જેમ જ વર્તીએ છીએ, એકવાર અમને તેની જાણકારી મળ્યાં પછી અમે સામગ્રીને દૂર કરીએ છીએ, અને ઉલ્લંઘન કરનારનું એકાઉન્ટ સ્થગિત કરીએ છીએ, અને ખોવાયેલ અને શોષિત બાળકો માટેના રાષ્ટ્રીય કેન્દ્ર (NCMEC) ને તેનો અહેવાલ આપીએ છીએ. આ PhotoDNA (જાણીતી ગેરકાનૂની છબીઓની નકલો શોધવા માટે) અને Google ની CSAI મેચ (જાણીતી ગેરકાનૂની વીડિયોઝની નકલો શોધવા માટે) સહિત, CSEAI ના પ્રસારને અટકાવવા માટે ડિઝાઇન કરેલી ટેકનોલોજીનો લાભ લેવા અને ઉપયોગ કરવાને ઉપરાંત છે. અમે તાજેતરમાં Google ની સામગ્રી સુરક્ષા API નો ઉપયોગ કરવાનું પણ શરૂ કર્યું (સાર્વજનિક વિષયવસ્તુ પર નવી, "ક્યારેય-પહેલા-હેશ્ડ-ન-કરાયેલ" છબીઓને શોધવામાં સહાય કરવા માટે). અમે NCMEC સાથે પણ આ બાબતે સંકળાયેલા છીએ કે GenAI સાથે સંકળાયેલા બાળ જાતીય દુર્વ્યવહારથી સંબંધિત સામગ્રીના સંબંધમાં ગયા વર્ષે તેઓને જે 4,700 અહેવાલો પ્રાપ્ત થયા હતા તેની અનન્ય ડિજિટલ સહીઓ (અથવા “હેશેઝ”)નો લાભ કેવી રીતે ઉઠાવવો. 

અમે કાયદાના અમલીકરણ સાથે સહયોગ કરીએ છીએ, તેમની તપાસોને ટેકો આપીએ છીએ અને અમારા વૈશ્વિક વિશ્વાસ અને સલામતી અને કાયદા અમલીકરણની કામગીરી ટીમોમાં ભારે રોકાણ કરીએ છીએ જે અમારા સમુદાયને સુરક્ષિત રાખવામાં મદદ માટે 24/7 કામ કરે છે. અમે તેની ખાતરી કરવાના ઉદેશ્ય સાથે યુ.એસ.માં કાયદા અમલીકરણ માટે વાર્ષિક સંમેલન હોસ્ટ કરીએ છીએ કે અધિકારીઓ અને એજન્સીઓ તે જાણે કે અમારા પ્લેટફોર્મ પર થઈ શકે એવી કોઈપણ ગેરકાનૂની પ્રવૃત્તિ સામે યોગ્ય કાર્યવાહી કેવી રીતે કરવી. 

અમે અમારા ઇન-એપ્લિકેશન અહેવાલ આપવાના સાધનોને પણ વિસ્તૃત કરવાનું ચાલુ રાખ્યું છે, જેમાં અમારા સમુદાય માટે નગ્ન અને જાતીય સામગ્રી, અને ખાસ કરીને CSEAI ને ફ્લેગ કરવાના વિકલ્પો શામેલ છે. ટેક કંપનીઓને તેમની સેવાઓમાંથી છેતરનારાઓને દૂર કરવામાં અને અન્યને સંભવિત નુકસાન પહોંચાડે તે પહેલાં વધુ પ્રવૃત્તિને નિષ્ફળ કરવામાં મદદ કરવા માટે સમસ્યારૂપ સામગ્રી અને એકાઉન્ટ્સનો અહેવાલ આપવો ખૂબ જ મહત્વપૂર્ણ છે. 

તાજેતરમાં અમે અમારા પરિવાર કેન્દ્ર સાધનોના સ્યુટ પર નવી સુવિધાઓ ઉમેરી છે, જેનો ઉપયોગ માતાપિતા અમારા AI-ચેટબોટ સહિત તેમના કિશોર Snapchat નો ઉપયોગ કેવી રીતે કરે છે, તેને વધુ સારી રીતે સમજવા માટે કરી શકે છે. અમે શિક્ષકો અને શાળા સંચાલકોને તે સમજવામાં મદદ કરવા માટે પણ નવા સંસાધનો રિલીઝ કર્યા છે કે તેમના વિદ્યાર્થીઓ Snapchat નો ઉપયોગ કેવી રીતે કરે છે અને અમે વિદ્યાર્થીઓ માટે સુરક્ષિત અને સહાયક વાતાવરણ બનાવવાના તેમના પ્રયાસોમાં શાળાઓને સહાય કરવા માટે જે સંસાધનો પ્રદાન કરીએ છીએ.

અને, અમે ઑનલાઇન જાતીય નુકસાનો વિશે જનતા અને Snapchatter વચ્ચે જાગૃતિ લાવવા માટેના માર્ગો પર રોકાણ કરવાનું ચાલુ રાખ્યું છે. અમારા ઇન-એપ્લિકેશન "સલામતી સ્નેપશૉટ" એપિસોડ્સ બાળ ઑનલાઇન માવજત અને તસ્કરી જેવાં વિષયો સહિત જાતીય જોખમો પર ધ્યાન કેન્દ્રિત કરે છે. અમે Know2Protect ને ટેકો આપનારી પહેલી સંસ્થા પણ હતા, જે એક યુ.એસ. હોમલૈંડ સુરક્ષા વિભાગ છે જે ઑનલાઇન બાળ જાતીય શોષણ વિશે યુવા લોકો, માતાપિતા, વિશ્વસનીય વયસ્કો અને નીતિ ઘડનારાઓને શિક્ષિત અને સક્ષમ બનાવવા પર ધ્યાન કેન્દ્રિત કરે છે. 

અમે તમામ પ્રકારના હિતધારકો સાથે કામ કરવાનું ચાલુ રાખવા આતુર છીએ - માતાપિતા, યુવાન લોકો, શિક્ષકો અને નીતિ ઘડનારાઓ તેમાંના કેટલાક નામ છે - આ પ્રકારના સંપૂર્ણ સમાજ મુદ્દાઓ પર અને અમે આશા રાખીએ છીએ કે અમારા ક્રોસ-પ્લેટફોર્મ સંશોધનમાંથી મેળવેલ સમજ અને આ જોખમો સામે લડવા માટે ઉપલબ્ધ સંસાધનો, તે સુનિશ્ચિત કરવા માટે કે લોકો વર્તમાન અને નવા ઑનલાઇન જોખમો વિશે જાગૃત થાય છે, નવા વિચારો અને તકો બનાવવામાં મદદ કરશે. 

— વિરાજ દોશી, પ્લેટફોર્મ સુરક્ષા લીડ