Peningkatan tinggi alat AI dalam beberapa tahun kebelakangan ini telah dan akan terus mencipta peluang baharu untuk kreativiti, pembelajaran, dan hubungan. Walau bagaimanapun, teknologi juga telah memperkenalkan dinamik baharu kepada risiko dalam talian yang sedia ada. Penyelidikan baharu menunjukkan bahawa apabila bilangan orang yang terdedah kepada imej dan video AI yang berunsur seksual dalam talian terus meningkat, kesedaran tentang keharaman sebahagian kandungan ini kekal menjadi cabaran.

Untuk memperoleh pemahaman yang lebih baik tentang sikap dan tingkah laku remaja dan golongan dewasa muda di semua kasut platform dan perkhidmatan, Snap menjalankan dan berkongsi penyelidikan tahunan merentasi industri yang dikenali sebagai Indeks Kesejahteraan Digital kami.  (Snap menugaskan kajian tersebut, tetapi ia merangkumi pengalaman Generasi Z dalam ruang digital secara umum, tanpa fokus khusus pada Snapchat.)  Sementara kami merancang untuk mengeluarkan hasil penuh kajian Tahun Ketiga kami bersempena dengan Hari Internet Lebih Selamat antarabangsa pada Februari 2025, kami ingin memberikan pratonton beberapa penemuan utama tentang bagaimana remaja, golongan dewasa muda, dan juga ibu bapa berinteraksi dengan dan bertindak balas terhadap kandungan seksual berasaskan AI generatif. Kami melakukannya hari ini, memandangkan tumpuan global terhadap eksploitasi dan penderaan seksual kanak-kanak minggu ini, serta sejajar dengan penyertaan kami dalam Empowering Voices DC Summit, yang menumpukan perhatian kepada menangani bahaya yang berkaitan dengan kandungan seksual yang dihasilkan oleh AI. 

Sebagai contoh, dalam kajian kami, yang meninjau 9,007 remaja, golongan dewasa muda, dan ibu bapa remaja di enam negara ¹, 24% berkata mereka telah melihat beberapa jenis imej atau video yang dijana oleh AI yang bersifat seksual. Daripada mereka yang mendakwa telah melihat kandungan seperti ini, hanya 2% mengatakan imej itu adalah seseorang yang berusia kurang daripada 18 tahun.

Secara menggalakkan, apabila orang melihat jenis kandungan ini, 9 daripada 10 orang mengambil tindakan, daripada menyekat atau memadamkan kandungan tersebut (54%) hingga bercakap dengan rakan atau keluarga yang dipercayai (52%). Walau bagaimanapun, hanya 42% yang berkata mereka melaporkan kandungan tersebut kepada platform atau perkhidmatan di mana mereka melihatnya, atau kepada talian hotline / talian bantuan. Wawasan ini mengikuti trend yang lebih besar mengenai kadar pelaporan yang lebih rendah secara amnya berkaitan dengan isu keselamatan digital. Kami telah menunjukkan, dalam satu hantaran sebelum ini, betapa pentingnya untuk mengatasi persepsi negatif terhadap pelaporan supaya golongan muda tidak menormalisasikan pendedahan kepada kandungan dan kelakuan bermasalah tertentu dalam talian, atau menyamakan pelaporan dengan mengadu domba. 

Malah lebih membimbangkan ialah lebih daripada 40% responden tidak jelas mengenai kewajipan undang-undang bagi platform/perkhidmatan untuk melaporkan imej seksual kanak-kanak, walaupun imej tersebut bertujuan sebagai gurauan atau meme. Dan, walaupun sebilangan besar (70%+) menyedari bahawa adalah haram menggunakan teknologi AI untuk mencipta kandungan seksual palsu seseorang, atau untuk menyimpan, melihat, atau berkongsi imej seksual kanak-kanak, penemuan ini menunjukkan bahawa masih banyak usaha diperlukan untuk memastikan orang awam sedar akan keperluan undang-undang yang berkaitan dengan jenis kandungan ini.

Di AS, sebagai contoh, hampir 40% responden mengatakan mereka percaya bahawa adalah sah menggunakan teknologi AI untuk mencipta imej seksual palsu seseorang. Dan, secara anekdot, kami telah mendengar tentang satu trend yang membimbangkan daripada rakan-rakan industri: dengan perkembangan jenis kandungan seperti ini, beberapa remaja perempuan khususnya berasa “terpinggir” jika mereka tidak ditampilkan dalam imej seksual yang dimanipulasi oleh AI yang sedang dicipta dan dikongsi secara tidak wajar oleh rakan sebaya mereka. Titik yang membimbangkan ini lebih menekankan keperluan untuk mendidik dan meningkatkan kesedaran mengenai risiko dalam talian khusus ini, dengan orang dewasa yang dipercayai dan rakan sebaya yang berpengetahuan memainkan peranan aktif dalam menghalang tingkah laku jenis ini.  

Komitmen berterusan Snap

Di Snap, kami sentiasa melabur dalam sumber, alat, dan teknologi untuk membantu memupuk pengalaman yang lebih selamat, lebih sihat, dan lebih positif di Snapchat dan seluruh ekosistem teknologi.

Pada beberapa kes, kami menggunakan “isyarat” tingkah laku untuk mengenal pasti aktiviti yang berpotensi menyalahi undang-undang supaya kami boleh secara proaktif mengeluarkan pelaku buruk dan melaporkannya kepada pihak berkuasa. Selain itu, sebagai perkhidmatan yang merangkumi chatbot AI perbualan, kami berusaha untuk lebih berhati-hati dalam mencegah potensi penghasilan bahan sebegini di Snapchat, serta melindungi daripada perkongsian dan penyebaran bahan yang mungkin telah dihasilkan di kasut platform lain. Kami menganggap imej seksual yang disyaki dijana oleh AI melibatkan kanak-kanak sebagai sama seperti imej eksploitasi seksual dan penderaan kanak-kanak yang 'autentik' (CSEAI), memadamkan kandungan tersebut sebaik sahaja kami menyedarinya, menggantung akaun yang melanggar, dan melaporkannya kepada Pusat Kebangsaan Kanak-Kanak Hilang dan Dieksploitasi (NCMEC). Ini adalah tambahan kepada memanfaatkan dan menyebarkan teknologi yang direka untuk mencegah penyebaran CSEAI, termasuk PhotoDNA (untuk mengesan salinan imej haram yang dikenali) dan CSAI Match Google (untuk mengesan salinan video haram yang dikenali). Kami juga baru-baru ini mula menggunakan API Keselamatan Kandungan Google (untuk membantu dalam mengesan imej baru, "tidak pernah di-hash sebelum ini" pada kandungan umum). ami juga telah berkerjasama dengan NCMEC mengenai cara untuk memanfaatkan tandatangan digital unik (atau “hashes”) bagi 4,700 laporan yang diterima oleh mereka tahun lalu yang berkaitan dengan bahan penderaan seksual kanak-kanak yang melibatkan GenAI. 

Kami bekerjasama dengan pihak berkuasa, menyokong siasatan mereka, dan melabur dengan banyak dalam pasukan Operasi Kepercayaan dan Keselamatan serta Pihak Berkuasa Undang-Undang global kami yang beroperasi 24/7 untuk membantu memastikan keselamatan komuniti kami. Kami menganjurkan persidangan tahunan untuk pihak berkuasa undang-undang di AS, bertujuan untuk memastikan pegawai dan agensi tahu bagaimana untuk mengambil tindakan yang sesuai terhadap sebarang aktiviti haram yang mungkin berlaku di platform kami. 

Kami juga terus mengembangkan alat pelaporan dalam aplikasi kami, yang merangkumi pilihan untuk komuniti kami menandakan nuden dan kandungan seksual, dan secara khusus CSEAI. Melaporkan kandungan dan akaun bermasalah adalah penting dalam membantu syarikat teknologi menghapuskan pelaku jahat daripada perkhidmatan mereka dan menghalang aktiviti lanjut sebelum ia berpotensi menyebabkan kerosakan kepada orang lain. 

Baru-baru ini, kami menambah ciri-ciri baru kepada rangkaian alat Pusat Keluarga kami, yang boleh digunakan oleh ibu bapa untuk memahami dengan lebih baik bagaimana remaja mereka menggunakan Snapchat, termasuk chatbot AI kami. Kami juga telah mengeluarkan sumber baruuntuk membantu pendidik dan pentadbir sekolah memahami bagaimana pelajar mereka menggunakan Snapchat dan sumber yang kami tawarkan untuk membantu sekolah dalam usaha mereka mencipta persekitaran yang selamat dan menyokong untuk pelajar.

Dan, kami terus melabur dalam cara-cara untuk meningkatkan kesedaran awam dan Snapchatter mengenai bahaya seksual dalam talian. dalam aplikasi Episod “Snapshot Keselamatan” kami memberi tumpuan kepada risiko seksual, termasuk topik seperti antun kanak-kanak dalam talian kanak-kanak dan pemerdagangan manusia. Kami juga merupakan entiti pertama yang menyokong Know2Protect, sebuah kempen Jabatan Keselamatan Dalam Negeri AS yang memberi tumpuan kepada pendidikan dan pemberdayaan golongan muda, ibu bapa, orang dewasa yang dipercayai, dan pembuat dasar mengenai penderaan seksual kanak-kanak dalam talian. 

Kami berharap untuk terus bekerjasama dengan semua jenis pihak berkepentingan -- ibu bapa, golongan muda, pendidik, dan pembuat dasar nama contoh -- mengenai isu-isu yang melibatkan seluruh masyarakat ini, dan berharap bahawa pandangan daripada penyelidikan lintas platform kami dapat membantu mencipta idea dan peluang baharu untuk memastikan orang ramai menyedari ancaman dalam talian yang sedia ada dan yang baharu, serta sumber yang tersedia untuk membantu melawan risiko ini. 

__ Viraj Doshi, Pemimpin Keselamatan Platform