Pesatnya peningkatan penggunaan alat AI dalam beberapa tahun terakhir telah dan akan terus menciptakan peluang untuk kreativitas, pembelajaran, dan koneksi. Namun, teknologi tersebut juga telah menciptakan dinamika baru terhadap risiko daring yang ada. Penelitian baru menunjukkan bahwa jumlah orang yang menemui gambar dan video seksual daring yang dibuat dengan AI terus bertambah, sehingga kesadaran akan keilegalannya sebagian di antara konten-konten tersebut terus menjadi tantangan.

Untuk mendapatkan pemahaman yang lebih baik tentang sikap dan perilaku para remaja dan dewasa muda di seluruh platform dan layanan, Snap mengadakan dan membagikan penelitian tahunan di seluruh industri yang disebut dengan Indeks Kesejahteraan Digital kami.  (Penelitian ini ditugaskan oleh Snap, tetapi penelitian ini mencakup pengalaman para Generasi Z di seluruh ruang digital secara umum, tanpa berfokus secara khusus pada Snapchat.)  Meskipun kami berencana merilis hasil studi Tahun Ketiga secara lengkap bersamaan dengan Hari Internet Aman internasional pada Februari 2025, kami ingin mempratinjau beberapa temuan penting tentang cara para remaja, dewasa muda, dan bahkan orang tua untuk terlibat dan bereaksi terhadap konten seksual berbasis AI generatif. Kami melakukannya hari ini, mengingat fokus global pada eksploitasi dan pelecehan seksual pada anak minggu ini, dan sehubungan dengan partisipasi kami dalam Empowering Voices DC Summit, yang berfokus pada penanganan bahaya yang terkait dengan konten seksual yang dihasilkan AI. 

Sebagai contoh, dalam penelitian kami, yang mensurvei 9.007 remaja, dewasa muda, dan orang tua yang memiliki anak remaja di 6 negara ¹, 24% mengatakan bahwa mereka telah melihat beberapa jenis gambar atau video yang dihasilkan AI yang bersifat seksual. Dari mereka yang mengaku telah melihat jenis konten ini, hanya 2% yang mengatakan bahwa gambar tersebut berupa seseorang yang berusia di bawah 18 tahun.

Yang menggembirakan adalah, ketika orang-orang melihat jenis konten ini, 9 dari 10 di antaranya mengambil tindakan, mulai dari memblokir atau menghapus konten tersebut (54%) hingga berbicara dengan teman atau keluarga yang dapat dipercaya (52%). Namun, hanya 42% yang mengatakan bahwa mereka melaporkan konten tersebut ke platform atau layanan tempat mereka melihatnya, atau ke hotline/saluran bantuan. Wawasan ini mengikuti tren yang lebih tinggi berupa tingkat pelaporan yang lebih rendah untuk masalah keamanan digital secara umum. Kami menunjukkan, dalam sebuah posting sebelumnya, pentingnya menangkal persepsi negatif terhadap pelaporan sehingga kaum muda tidak menormalkan keterpaparan terhadap konten dan perilaku daring yang problematik, atau menyamakan pelaporan dengan tindakan mengadu. 

Yang lebih mengkhawatirkan lagi, lebih dari 40% responden tidak mengetahui kewajiban hukum bagi platform/layanan untuk melaporkan gambar seksual anak di bawah umur, bahkan jika gambar tersebut dimaksudkan sebagai lelucon atau meme. Dan, meskipun sejumlah besar responden (70%+) menyadari bahwa penggunaan teknologi AI untuk membuat konten palsu seseorang, atau menyimpan, melihat, atau membagikan gambar seksual anak di bawah umur adalah tindakan ilegal, temuan-temuan ini menunjukkan bahwa ada banyak pekerjaan yang harus dilakukan untuk memastikan masyarakat umum mengetahui persyaratan hukum yang terkait dengan jenis konten ini.

Di AS, misalnya, hampir 40% responden mengatakan bahwa mereka percaya bahwa menggunakan teknologi AI untuk membuat gambar seksual seseorang adalah tindakan yang legal. Dan, secara anekdot, kami telah mendengar tren yang mengkhawatirkan dari para kolega di industri ini: dengan menjamurnya jenis konten ini, beberapa gadis remaja, secara khusus, merasa "ditinggalkan" jika mereka tidak ditampilkan dalam gambar seksual yang dimanipulasi AI yang dibuat dan dibagikan oleh teman sebaya mereka dengan cara yang tidak tepat. Poin yang mengganggu ini lebih lanjut menggarisbawahi perlunya mengedukasi dan menumbuhkan kesadaran akan risiko daring yang spesifik ini, di mana orang dewasa yang tepercaya dan teman sebaya yang mendapat informasi berperan aktif dalam mengurangi jenis perilaku ini.  

Komitmen berkelanjutan Snap

Di Snap, kami terus berinvestasi dalam sumber daya, alat, dan teknologi untuk membantu mendorong pengalaman yang lebih aman, lebih sehat, dan lebih positif di Snapchat dan di seluruh ekosistem teknologi.

Dalam beberapa kasus, kami menggunakan "sinyal" perilaku untuk mengidentifikasi aktivitas yang berpotensi ilegal sehingga kami dapat secara proaktif menghapus pelaku kejahatan dan melaporkannya kepada pihak berwenang. Selain itu, sebagai layanan yang mencakup chatbot AI percakapan, kami berupaya untuk ekstra waspada dalam mencegah pembuatan materi tersebut di Snapchat, serta menjaga agar tidak terjadi pembagian dan distribusi materi yang mungkin telah dihasilkan di platform lainnya. Kami memperlakukan gambar seksual anak-anak di bawah umur yang diduga dibuat menggunakan AI sama dengan eksploitasi dan pelecehan seksual anak (CSEAI) yang "asli", menghapus konten tersebut setelah kami mengetahuinya, menangguhkan akun yang melanggar, dan melaporkannya pada National Center for Missing and Exploited Children (NCMEC). Selain itu, kami juga memanfaatkan dan menerapkan teknologi yang dirancang untuk mencegah penyebaran CSEAI, termasuk PhotoDNA (untuk mendeteksi duplikat gambar ilegal yang diketahui) dan CSAI Match Google (untuk mendeteksi duplikat video ilegal yang diketahui). Baru-baru ini kami juga mulai menggunakan Content Safety API Google (untuk membantu mendeteksi novel, gambar konten publik yang "belum pernah di-hash" sebelumnya). Kami juga telah terlibat dengan NCMEC terkait cara memanfaatkan tanda tangan digital unik (atau "hash") dari 4.700 laporan yang mereka terima tahun lalu terkait materi pelecehan seksual anak yang melibatkan GenAI. 

Kami berkolaborasi dengan penegak hukum, mendukung penyelidikan yang mereka lakukan, dan berinvestasi besar dalam tim Kepercayaan dan Keamanan serta Operasi Penegakan Hukum global kami yang bekerja 24/7 untuk membantu menjaga keamanan komunitas kami. Kami menjadi tuan rumah KTT tahunan untuk penegakan hukum di AS, yang bertujuan untuk memastikan para petugas dan lembaga mengetahui cara pengambilan tindakan yang tepat terhadap aktivitas ilegal yang mungkin terjadi di platform kami. 

Kami juga terus memperluas alat pelaporan dalam aplikasi kami, yang mencakup opsi bagi komunitas kami untuk menandai konten ketelanjangan dan seksual, dan khususnya CSEAI. Pelaporan konten dan akun problematik sangatlah penting dalam membantu perusahaan-perusahaan teknologi lain untuk menghilangkan pelaku-pelaku kejahatan dari layanan mereka dan menggagalkan aktivitas lebih lanjut sebelum aktivitas tersebut berpotensi membahayakan orang lain. 

Baru-baru ini, kami menambahkan fitur-fitur baru ke rangkaian alat Pusat Keluarga kami, yang dapat orang tua gunakan untuk memahami penggunaan Snapchat, termasuk chatbot AI kami, oleh anak remaja mereka, dengan lebih mendalam. Kami juga merilis sumber daya baru untuk membantu para pendidik dan administrator sekolah untuk memahami penggunaan Snapchat oleh para siswa mereka dan sumber daya yang kami tawarkan untuk membantu sekolah dalam upaya mereka untuk membuat lingkungan yang aman dan suportif bagi pada siswa mereka.

Dan, kami terus berinvestasi dalam berbagai cara untuk meningkatkan kesadaran publik dan Snapchatter terhadap bahaya seksual daring. Episode “Snapshot Keselamatan” dalam aplikasi kami berfokus pada risiko seksual, antara lain pada topik-topik seperti grooming dan perdagangan anak secara daring. Kami juga merupakan entitas pertama yang mendukung Know2Protect, sebuah kampanye U.S. Department of Homeland Security yang berfokus pada edukasi dan pemberdayaan kaum muda, orang tua, dewasa yang dapat dipercaya, dan pembuat kebijakan tentang pelecehan seksual anak secara daring. 

Kami berharap dapat terus bekerja sama dengan semua jenis pemangku kepentingan -- antara lain orang tua, kaum muda, pendidik, dan pembuat kebijakan -- terkait jenis masalah masyarakat ini, dan berharap bahwa wawasan dari penelitian lintas platform yang kami lakukan dapat membantu menghasilkan berbagai ide dan kesempatan baru untuk memastikan orang-orang sadar akan ancaman daring yang ada dan yang baru, dan sumber daya tersebut tersedia untuk membantu memerangi berbagai risiko ini. 

— Viraj Doshi, Pemimpin Keamanan Platform