Ang mabilis na pagtaas na paggamit ng mga AI tool sa mga nakaraang taon ay nagpapatuloy at magpapatuloy na gumawa ng mga bagong pagkakataon sa creativity, learning, at connection. Gayunpaman, nagpakilala rin ang teknolohiya ng bagong dynamics sa mga umiiral na panganib online. Ipinapakita ng bagong pananaliksik na habang patuloy lumalaki ang bilang ng mga taong nakakatagpo ng mga sekswal na imahe at video ng AI online, ang kamalayan ng pagiging ilegal ng ilan sa nilalamang ito ay patuloy na nagiging hamon.

Para magkaroon ng mas mahusay na pag-unawa sa mga saloobin at pag-uugali ng mga tinedyer at young adult sa lahat ng platform at serbisyo, nagsasagawa at nagbabahagi ang Snap ng taunang pananaliksik sa buong industiyang tinatawag na Digital Well-Being Index.  (Inatasan ng Snap ang pananaliksik, pero sinasaklaw nito ang mga karanasan ng Generation Z sa lahat ng digital na espasyo sa pangkalahatan, na walang partikular na pagtuon sa Snapchat.)  Habang pinaplano naming ilabas ang buong resulta ng Ikatlong Taong pag-aaral namin kasabay ng international na Safer Internet Day sa February 2025, gusto naming i-preview ang ilang pangunahing natuklasan sa kung paano nakikipag-ugnayan at tumutugon ang mga tinedyer, young adult, at maging ang mga magulang sa generative na sekswal na content na nakabatay sa AI. Ginagawa namin ito ngayon, dahil sa pandaigdigang pagtutok sa sekswal na pagsasamantala at pang-aabuso ngayong linggo at kasabay ng pakikilahok namin sa Empowering Voices DC Summit, na nakatuon sa pagtugon sa mga pinsalang nauugnay sa AI-generated na sekwal na content. 

Halimbawa, sa pag-aaral namin, na nag-survey sa 9,007 tinedyer, young adult, magulang ng mga tinedyer sa 6 na bansa ¹, 24% ang nagsabing nakakita sila ng ilang uri ng imahe o video na AI-generated na sekswal ang likas. Sa mga nag-claim na nakakita ng ganitong uri ng content, 2% lang ang nagsabing ang koleksyon ng imahe ay taong wala pang 18 taong gulang.

Nakakahikayat, kapag nakita ng mga tao ang ganitong uri ng content, 9 sa 10 ang gumawa ng aksyon, mula sa pag-block o pagtanggal sa content (54%) hanggang sa pakikipag-usap sa pinagkakatiwalaang kaibigan o pamilya (52%). Gayunpaman, 42% lang ang nagsabing ni-report nila ang content sa platform o serbisyo kung saan nila nakita ito, o sa hotline / helpline. Sumusunod ang insight na ito sa mas malaking trend ng mas mababang rate ng pagre-report sa mga isyung nauugnay sa digital na kaligtasan sa pangkalahatan. Itinuro namin, sa naunang post, ang kahalagahan ng pagkontra sa mga negatibong pananaw sa pagre-report para hindi nawing normal ng mga kabataan ang pagkakalantad sa ilang may problemang content at pag-uugali online, o itumbas ang pagre-report sa pagbubuyag ng sikreto. 

Ang higit na nakakaalarma ay higit sa 40% mga respondent ang hindi malinaw sa legal na obligasyon para sa mga platform/serbisyong i-report ang mga sekswal na imahe ng mga menor de edad, kahit na ang mga naturang imahe ay nilalayon bilang biro o meme. At habang kinikilala ng mas malaking bilang (70%+) na labag sa batas ang paggamit sa teknolohiya ng AI para gumawa ng pekeng sekswal na content ng tao, o para magpanatili, tumingin, o magbahagi ng mga sekswal na imahe ng mga menor de edad, nagpapahiwatig ang mga natuklasang itong may malaking gawaing gagawin para tiyaking alam ng pangkalahatang publiko ang mga legal na kinakailangang nauugnay sa ganitong uri ng content.

Sa U.S, halimbawa, halos 40% ng mga respondent ang nagsabing naniniwala silang legal ang paggamit ng teknolohiya ng AI para gumawa ng pekeng sekswal na imahe ng tao. At, ayon sa sabi-sabi, narinig namin ang tungkol sa nauukol na trend mula sa mga kasamahan sa industriya: sa paglaganap ng ganitong uri ng content, ang ilang partikular na babaeng tinedyer ay may pakiramdam na “napag-iiwanan” kung hindi sila itinatampok sa sekswal na koleksyon ng imaheng minanipula ng AI na hindi naaangkop na ginagawa at ibinabahagi ng kanilang mga kasamahan. Ang nakakagambalang puntong ito ay higit na binibigyang-diin ang pangangailangang turuan at palawakin ang kamalayan sa partikular na online na panganib na ito, kasama ang mga pinagkakatiwalaang nasa hustong gulang at may kaalamang kasamahang gumaganap ng aktibong role sa pagpigil sa ganitong uri ng pag-uugali.  

Ang patuloy na commitment ng Snap

Sa Snap, patuloy kaming namumuhunan sa mga mapagkukunan, tool, at teknolohiya para tumulong na magsulong ng mas ligtas, mas maganda, at mas positibong mga karanasan sa Snapchat at sa buong tech ecosystem.

Sa ilang kaso, gumagamit kami ng “mga signal” sa pag-uugali para matukoy ang potensyal na ilegal na aktibidad na pwede naming maagap na tanggalin ang masasamang gumagawa at i-report ang mga ito sa mga awtoridad. Bukod dito, bilang serbisyong may kasamang pakikipag-usap sa AI chatbot, sinisikap naming maging mas mapagbantay sa pagpigil sa potensyal na pag-generate ng naturang materyal sa Snapchat, pati na rin ang pagbabantay laban sa pagbabahagi at pamamahagi ng materyal na maaaring na-generate sa iba pang platforms. Itinuring namin ang pinaghihinalaang sekswal na koleksyon ng imahe ng mga menor de edad na na-generate ng AI bilang “tunay” na child sexual exploitation and abuse imagery (CSEAI), na tinatanggal ang content kapag nalaman namin ito, na sinususpinde ang lumalabag na account, at nire-report ito sa National Center for Missing and Exploited Children (NCMEC). Bukod pa ito sa paggamit at pag-deploy ng teknolohiyang idinisenyo para pigilan ang pagkalat ng CSEAI, kabilang ang PhotoDNA (para maka-detect ng mga duplicate ng mga kilalang ilegal na imahe) at CSAI Match ng Google (para maka-detect ng mga duplicate ng mga kilalang ilegal na video). Sinimulan din namin kamakailan ang paggamit ng Content Safety API ng Google (para tumulong sa pag-detect ng novel, “hindi pa kailanman naha-hash” na koleksyon ng imahe sa pampublikong content). Nakipag-ugnayan din kami sa NCMEC kung paano gamitin ang mga natatanging digital na lagda (o “mga hash”) ng 4,700 ulat na natanggap nila noong nakaraang taong may kaugnayan sa materyal na pang-aabusong sekswal sa bata na kinasasangkutan ng GenAI. 

Kami ay nakikipag-collaborate sa tagapagpatupad ng batas, sinusuportahan ang kanilang mga imbestigasyon, namumuhunan nang malaki sa aming pandaigdigang team sa Trust and Safety and Law Enforcement Operations na nagtatrabaho 24/7 para tumulong na mapanatiling ligtas ang aming komunidad. Nagsasagawa kami ng taunang summit para sa tagapagpatupad ng batas sa U.S. para matiyak na alam ng mga opisyal at ahensya kung paano kumilos nang naaangkop laban sa anumang ilegal na aktibidad na maaaring nagaganap sa aming platform. 

Patuloy rin naming pinapalawak ang aming in-app ng mga tool sa pagre-report, na kinabibilangan ng mga opsyon para sa komunidad naming i-flag ang kahubaran at sekswal na content, at partikular ang CSEAI. Ang pagre-report ng may problemang content at mga account ay kritikal sa pagtulong sa mga kumpanya ng tech na tanggalin ang masasamang gumagawa mula sa kanilang mga serbisyo at hadlangan ang karagdagang aktibidad bago pa man ito magdulot ng pinsala sa iba. 

Kamakailan, kami ay nagdagdag ng mga bagong feature sa suite ng mga tool ng Family Center namin, na pwedeng gamitin ng mga magulang para mas maunawaan kung paano ginagamit ng kanilang tinedyer ang Snapchat, kasama ang aming AI chatbot. Naglabas din kami ng mga bagong mapagkukunan para matulungan ang mga tagapagturo at administrator ng paaralang maunawaan kung paano ginagamit ng kanilang mag-aaral ang Snapchat at ang mga mapagkukunung inaalok namin para tulungan ang mga paaralan sa kanilang mga pagsisikap na gumawa ng mga mas ligtas at sumusuportang kapaligiran para sa mga mag-aaral.

At, patuloy kaming namumuhunan sa mga paraan para itaas ang kamalayan ng publiko at Snapchatter sa mga online na sekswal na pinsala. Nakatuon ang aming in-app na mga episode ng “Safety Snapshot” sa mga sekswal na panganib, kabilang ang mga paksa tulad ng online grooming at trafficking. Kami rin ang unang entity na sumuporta sa Know2Protect, kampanya ng U.S. Department of Homeland Security na nakatuon sa pagtuturo at pagbibigay kapangyarihan sa mga kabataan, magulang, pinagkakatiwalaang nasa hustong gulang, at gumagawa ng patakaran tungkol sa online na pang-aabusong sekswal sa bata. 

Inaasahan namin ang patuloy na pakikipagtulungan sa lahat ng uri ng mga stakeholder -- magulang, kabataan, tagapagturo, at gumagawa ng patakaran para pangalanan ang ilan -- sa mga ganitong uri ng isyu sa buong lipunan, at umaasang ang mga insight mula sa aming cross-platform na pananaliksik ay nakakatulong na gumawa ng mga bagong ideya at pagkakataon para matiyak na alam ng mga tao ang mga umiiral at bagong banta online, at ang mga mapagkukunang magagamit para makatulong na labanan ang mga panganib na ito. 

— Viraj Doshi, Platform Safety Lead