Společnost Snap se hluboce zasazuje o bezpečnost komunity na Snapchatu. Naším cílem je pomáhat chránit uživatele před řadou online rizik a potenciálních škod, které se vyskytují v digitálním ekosystému, včetně ohavných trestných činů sexuálního zneužívání dětí (CSEA). Společnost Snap proti tomuto nezákonnému obsahu a ohavnému trestnému chování bojuje již léta a v celé aplikaci Snapchat využívá jak proaktivní detekci, tak reaktivní opatření. V uplynulém roce jsme provedli další změny v našich souvisejících zásadách a postupech s cílem pomoci postavit pachatele před soud. Rádi bychom se zde o této práci podělili.

Co je CSEA?

Sexuální vykořisťování a zneužívání dětí zahrnuje řadu nezákonných činností, které zahrnují sexuální poškozování nezletilých, včetně: prohlížení, výroby a distribuce materiálů se sexuálním zneužíváním dětí (CSEAI), včetně novější hrozby fotografií a videí generovaných umělou inteligencí; online groomingu neboli lákání nezletilých k sexuálním účelům; ¹sexuálního vydírání; ²obchodování s dětmi za účelem sexuálního zneužívání; a živého přenosu sexuálního zneužívání a mučení dětí. ³Je těžké pochopit, že tyto odporné skutečnosti skutečně existují. Bohužel však takové zneužívání existovalo vždy – a digitální svět nyní poskytuje alternativní prostředky zneužívání a rozšiřuje způsoby páchání trestné činnosti tak, aby byly rychlejší a dalekosáhlejší.

„Technologie zásadně změnily způsob, jakým lidé se sexuálním zájmem o děti o nich fantazírují, získávají k nim přístup a loví je,“ řekl Ernie Allen, předseda londýnské organizaceWeProtect Global Alliance. „DeníkNew York Timesnapsal: ‚Krize online sexuálního zneužívání dětí je na bodu zlomu.‘ Uvedl, že počet hlášení se stupňuje, pachatelé sdílejí snímky mladších obětí a ohavnějších trestných činů a orgány činné v trestním řízení se snaží držet krok. Pokud k této výzvě přidáte nové varianty, jako je sextortion, u kterého FBI hlásí nárůst o 7 200 %, živé přenosy zneužívání a další, je zřejmé, že by tento problém měl být na prvním místě politických agend po celém světě,“ dodal.

Právní povinnosti technologických společností

Když se americké technologické společnosti dozvědí o CSEA na svých platformách nebo službách, mají zákonnou povinnost nahlásit to Národnímu centru pro pohřešované a zneužívané děti (NCMEC). NCMEC poté tyto tipy CyberTips přezkoumá a spolupracuje s domácími i mezinárodními orgány činnými v trestním řízení, aby pomohla ochránit dětské oběti a potrestat pachatele.

Až do loňského roku celkový roční počet tipů CyberTips pro NCMEC z velké části meziročně rostl a dosáhl rekordních 36,2 milionu hlášení ⁴v roce 2023, což je nárůst z něco málo přes 32 milionů v roce 2022 a 4 560 v roce 1998, kdy byla vytvořena linka CyberTipline NCMEC. Právě tento rekordní nárůst počtu tipů CyberTips – kromě dalších faktorů, včetně pokračujícího nárůstu sexuálního vydírání v celosvětovém měřítku a zpětné vazby, kterou jsme obdrželi od orgánů činných v trestním řízení ohledně využitelnosti našich vlastních tipů CyberTips – přiměl společnost Snap, aby v roce 2024 poprvé oslovila NCMEC a přehodnotila naše hlášení tipů CyberTips.

Několik let jsem sledoval hlášení tipů CyberTips a jsem pevně přesvědčen, že praxe některých technologických společností směřuje k hlášenívšehoNCMEC – dokonce i nad rámec jejich zákonné povinnosti – ze strachu, že budou obviněni z toho, že něco přehlédliněco. ⁵Společnostem, které neplní zákonnou ohlašovací povinnost, mohou hrozit vysoké pokuty. Tento přístup k podávání zpráv, spojený s nízkou využitelností mnoha hlášení (buď proto, že tipy CyberTips postrádají dostatečný kontext pro to, aby orgány činné v trestním řízení mohly jednat, nebo proto, že nahlášené jednání pro ně v některých případech není prioritou), však vedl k nárůstu počtu tipů CyberTips, k četným a rozsáhlým přezkumům a ke zvýšené frustraci orgánů činných v trestním řízení.

Cíl: Vysoce hodnotné tipy CyberTips

Cílem naší rekalibrace s NCMEC bylo dále zvýšit využitelnost a hodnotu tipů CyberTips společnosti Snap zpřesněním našich vlastních zásad platformy a protokolů, které máme pro hlášení NCMEC zavedeny. Tato počáteční rekalibrace proběhla v květnu 2024 a naše změny zásad vstoupily v plnou platnost v druhé polovině loňského roku.

Ačkoli bychom se měli vyvarovat přílišného důrazu na pouhý počet hlášení izolovaně, od zavedení našich upřesnění zásad společnost Snap s potěšením sděluje, že jsme zaznamenali výrazný pokles celkového objemu hlášení pro NCMEC a podobný pokles eskalací v případě online lákání – to vše při plnění našich zákonných povinností hlásit CSEA v tipech CyberTips. Nižší celkové počty se však ještě nepromítly do ročních objemů hlášení NCMEC, protože změny byly zavedeny až později v roce 2024, takže na promítnutí změn zbylo jen několik celých měsíců v roce.

Souběžně s tím náš tým pracuje na zlepšení dat a označování v našich tipech CyberTips. Taková objasnění mohou pomoci lépe identifikovat údajné trestné činy a zúčastněné osoby a následně umožnit rychlejší a přesnější třídění hlášení ze strany NCMEC a orgánů činných v trestním řízení. I v případech, kdy hlášení NCMEC nemusí být opodstatněné, bude společnost Snap i nadále řešit snímky a chování, které jsou v rozporu se zásadami naší platformy, a to přijetím opatření – která mohou zahrnovat odstranění závadného obsahu, deaktivaci účtu a snahu zablokovat vytváření nových účtů.

Kontrolní bod rekalibrace

Minulý měsíc jsme s NCMEC provedli druhou rekalibraci, kde tým společnosti Snap rekapituloval loňské interní změny zásad, informoval NCMEC o našem pokroku, potvrdil některé další provozní pokyny a pomohl nastavit očekávání pro nadcházející měsíce. Představili jsme také některé další plánované doplňky zásad a hlášení, které, jak doufáme, budou i nadále zvyšovat hodnotu našich hlášení pro NCMEC i orgány činné v trestním řízení. Přirozeně se jedná o iterativní proces, ale pokrok za poslední rok nás povzbuzuje.

Pohled do budoucna

Očekáváme, že NCMEC a orgány činné v trestním řízení budou v průběhu času i nadále zaznamenávat snížený objem tipů CyberTips od společnosti Snap ve srovnání s předchozími lety, ale větší procento těch, kteréskutečněobdrží, by mělo obsahovat kvalitnější informace a být lépe využitelné.

Zavázali jsme se k neustálému zlepšování ve všech aspektech naší práce v oblasti bezpečnosti. Netvrdíme, že máme všechny odpovědi, pokud jde o boj proti CSEA nebo jakékoli jiné potenciální online škodě; nikdo by to neměl tvrdit, protože nikdo je nemá. Den co den bojujeme s celospolečenskými problémy a přinášíme celo-firemnípřístup – s konečným dvojím cílem zmírnit riziko a snížit škody.

Pokud jde o naše tipy CyberTips, máme pro nepříliš vzdálenou budoucnost jasný cíl: Ať už se jedná o velitele státní pracovní skupiny pro internetové zločiny proti dětem (ICAC), federálního vyšetřovatele nebo člena orgánů činných v trestním řízení na druhé straně světa, chceme, aby státní, federální a mezinárodní orgány s důvěrou sledovaly tipy CyberTips od společnosti Snap, protože vědí, že se na naše hlášení mohou trvale spolehnout jako na využitelné, cenné a důkladné. A doufáme, že toto úsilí pomůže podnítit odpovídající nárůst souvisejících zatčení ⁶a odsouzení po celém světě.

Obrovské „poděkování“ patří NCMEC, WeProtect, 61 pracovním skupinám ICAC v USA, orgánům činným v trestním řízení po celém světě a všem našim kolegům a spolupracovníkům v oblasti boje proti CSEA – a ještě jedna poznámka, že jsme i nadále otevřeni vaší zpětné vazbě a dychtíme po ní, abychom mohli dále zlepšovat naše strategie a přístupy. Jsme v tom všichni společně.

- Jacqueline Beauchere, globální vedoucí pro bezpečnost platformy