Snap är djupt engagerade i säkerheten för Snapchat-communityn. Vårt mål är att hjälpa till att skydda användare från en rad onlinerisker och potentiella skador som spänner över det digitala ekosystemet, inklusive avskyvärda brott som sexuellt utnyttjande och övergrepp mot barn (CSEA). Snap har i åratal bekämpat detta olagliga innehåll och avskyvärda kriminella beteende genom att använda både proaktiva upptäckts- och reaktiva svarsåtgärder i Snapchat-appen. Under det senaste året har vi gjort ytterligare ändringar i våra relaterade policyer och processer i syfte att hjälpa till att ställa förövarna inför rätta. Vi vill berätta mer om det arbetet här.

Vad är CSEA?

Sexuellt utnyttjande av och övergrepp mot barn täcker en rad olagliga aktiviteter som involverar sexuell skada på minderåriga, inklusive: visning, produktion och distribution av bilder på sexuellt utnyttjande och övergrepp mot barn (CSEAI), inklusive det nyare hotet från AI-genererade foton och videor; grooming på nätet, eller lockande, av minderåriga för sexuella ändamål; ¹sexuell utpressning; ²människohandel för sexuella ändamål med barn; och livestreaming av barn som utsätts för sexuella övergrepp och tortyr. ³Det är svårt att förstå att dessa motbjudande verkligheter faktiskt existerar. Men tyvärr har sådana övergrepp alltid funnits – och den digitala världen erbjuder nu ett alternativt sätt att begå övergrepp, vilket utökar sätten att begå brott till att bli snabbare och mer långtgående.

”Tekniken har i grunden förändrat sättet som de med sexuellt intresse för barn fantiserar om dem, får tillgång till dem och utnyttjar dem”, säger Ernie Allen, ordförande för den LondonbaseradeWeProtect Global Alliance. “New York Timesskrev: 'Krisen med sexuellt utnyttjande av barn på nätet har nått en brytpunkt.' Tidningen noterade att rapporterna eskalerar, förövare delar bilder på yngre offer och mer avskyvärda brott, och brottsbekämpande myndigheter kämpar för att hänga med. Om du lägger till nya variationer till den utmaningen, som sextortion, som FBI rapporterade har ökat med 7 200 %, livestreaming av övergrepp och annat, är det tydligt att detta problem bör stå högst upp på de politiska agendorna över hela världen”, tillade han.

Teknikföretagens juridiska skyldigheter

När amerikanska teknikföretag blir medvetna om CSEA på sina plattformar eller tjänster har de en laglig skyldighet att rapportera det till National Center for Missing and Exploited Children (NCMEC). NCMEC granskar sedan dessa CyberTips och samarbetar med både inhemska och internationella brottsbekämpande myndigheter för att hjälpa till att skydda barnoffer och straffa förövare.

Fram till förra året hade det totala antalet CyberTips till NCMEC i stort sett ökat år för år och nådde en rekordnivå på 36,2 miljoner rapporter ⁴under 2023, en ökning från drygt 32 miljoner 2022 och 4 560 1998 när NCMEC:s CyberTipline skapades. Det var denna rekordökning av CyberTips – förutom andra faktorer, inklusive en fortsatt ökning av sexuell utpressning globalt och feedback som vi fick från brottsbekämpande myndigheter om användbarheten av våra egna CyberTips – som fick Snap att först kontakta NCMEC 2024 för att omkalibrera vår CyberTip-rapportering.

Jag har övervakat CyberTip-rapportering i flera år, och jag är övertygad om att vissa teknikföretags praxis har tenderat att gå mot att rapporteraallttill NCMEC – även utöver deras lagliga skyldighet – av rädsla för att anklagas för att ha missatnågot. ⁵Företag som inte rapporterar enligt lag kan få höga böter. Men detta tillvägagångssätt för rapportering, i kombination med den låga användbarheten hos många rapporter (antingen för att CyberTips saknar tillräckligt sammanhang för att brottsbekämpande myndigheter ska kunna vidta åtgärder eller för att det rapporterade beteendet i vissa fall inte är en prioritet för dem), har resulterat i ett ökande antal CyberTips, flera omfattande granskningar och ökad frustration bland brottsbekämpande myndigheter.

Mål: Värdefulla CyberTips

Målet med vår omkalibrering med NCMEC var att ytterligare öka användbarheten och värdet av Snaps CyberTips genom att förfina våra egna plattformspolicyer och de protokoll vi har för rapportering till NCMEC. Den första omkalibreringen ägde rum i maj 2024, och våra policyändringar trädde i kraft helt och hållet under den senare delen av förra året.

Även om vi bör undvika att lägga för stor vikt vid det rena antalet rapporter isolerat, är Snap glada att kunna meddela att vi sedan vi implementerade våra policyförfiningar har sett en betydande minskning av vår totala rapporteringsvolym till NCMEC och en liknande minskning av eskaleringar för lockande på nätet – allt medan vi fortfarande uppfyller våra juridiska skyldigheter att rapportera CSEA i CyberTips. De lägre totalsiffrorna har dock ännu inte filtrerats igenom till NCMEC:s årliga rapporteringsvolymer, eftersom ändringarna implementerades senare under 2024, vilket lämnade bara några hela månader av året för att återspegla ändringarna.

Parallellt har vårt team arbetat med att förbättra data och märkning i våra CyberTips. Sådana förtydliganden kan hjälpa till att bättre identifiera de påstådda brotten och de inblandade individerna och i sin tur möjliggöra en snabbare och mer exakt sortering av rapporter från NCMEC och brottsbekämpande myndigheter. Även när rapportering till NCMEC kanske inte är motiverad kommer Snap att fortsätta att hantera bilder och beteenden som strider mot våra plattformspolicyer genom att vidta åtgärder – vilket kan inkludera att ta bort det kränkande innehållet, inaktivera kontot och försöka blockera skapandet av nya konton.

Kontrollpunkt för omkalibrering

Förra månaden höll vi en andra omkalibrering med NCMEC, där Snap-teamet sammanfattade förra årets interna policyändringar, uppdaterade NCMEC om våra framsteg, bekräftade några ytterligare driftsriktlinjer och hjälpte till att sätta förväntningar för de kommande månaderna. Vi förhandsgranskade också några ytterligare planerade policy- och rapporteringstillägg som vi hoppas kommer att fortsätta att öka värdet på våra rapporter till både NCMEC och brottsbekämpande myndigheter. Naturligtvis är detta en iterativ process, men vi är uppmuntrade av framstegen under det senaste året.

Framåtblick

Med tiden förväntar vi oss att NCMEC och brottsbekämpande myndigheter kan fortsätta att se minskade volymer av CyberTips från Snap jämfört med tidigare år, men en större andel av de som defaktisktfår bör innehålla information av högre kvalitet och vara mer användbara.

Vi är engagerade i ständiga förbättringar i alla aspekter av vårt säkerhetsarbete. Vi låtsas inte ha alla svar när det gäller att bekämpa CSEA eller någon annan potentiell onlineskada; ingen borde det eftersom ingen har det. Dag ut och dag in kämpar vi med frågor som rör hela samhället och vi använder en helhets-företagsstrategi – med de slutgiltiga dubbla målen att minska risker och reducera skada.

När det gäller våra CyberTips har vi ett tydligt mål för den inte alltför avlägsna framtiden: Oavsett om det är en befälhavare för en statlig Internet Crimes Against Children Task Force (ICAC), en federal utredare eller en medlem av brottsbekämpningen på andra sidan jorden, vill vi att statliga, federala och internationella myndigheter med tillförsikt ska följa upp CyberTips från Snap eftersom de vet att våra rapporter konsekvent kan litas på som användbara, värdefulla och grundliga. Och vår förhoppning är att dessa ansträngningar kommer att bidra till en motsvarande ökning av relaterade arresteringar ⁶och fällande domar över hela världen.

Ett stort ”tack” till NCMEC, WeProtect, de 61 ICAC Task Forces i USA, brottsbekämpande myndigheter runt om i världen och alla våra kollegor och samarbetspartners inom landskapet för bekämpning av CSEA – och en ytterligare notering att vi förblir öppna för och ivriga att få er feedback för att ytterligare förbättra våra strategier och tillvägagångssätt. Vi är alla i detta tillsammans.

- Jacqueline Beauchere, global chef för plattformssäkerhet