Der rasante Anstieg von KI-Tools in den letzten Jahren hat und wird auch weiterhin neue Möglichkeiten für Kreativität, Lernen und Vernetzung schaffen. Die Technologie hat jedoch auch eine neue Dynamik zu den bereits existierenden Online-Risiken gebracht. Eine neue Studie zeigt, dass die Zahl der Menschen, die im Internet mit sexuellen KI-Bildern und -Videos konfrontiert sind, weiter zunimmt. Daher stellt die Illegalität einiger dieser Inhalte weiterhin eine Herausforderung dar.

Um ein besseres Verständnis der Meinungen und Verhaltensweisen von Teenagern und jungen Erwachsenen über alle Plattformen und Dienste hinweg zu gewinnen, führt Snap eine jährliche branchenweite Studie durch. Die Studie nennt sich unser Digital Well-Being Index. (Snap hat die Studie in Auftrag gegeben, aber sie deckt die Erfahrungen der Generation Z in allen digitalen Räumen im Allgemeinen ab, ohne besonderen Fokus auf Snapchat.)  Wir planen zwar, die vollständigen Ergebnisse unserer dritten Jahresstudie im Zusammenhang mit dem internationalen Tag des Safer Internet im Februar 2025 zu veröffentlichen. Wir möchten jedoch eine Vorschau auf einige wichtige Erkenntnisse darüber geben, wie Teenager, junge Erwachsene und sogar Eltern mit KI-generierten sexuellen Inhalten umgehen und darauf reagieren. Wir tun dies heute, angesichts des globalen Fokus auf der sexuellen Ausbeutung und dem Missbrauch von Kindern in dieser Woche und in Verbindung mit unserer Teilnahme am Empower Voices DC Summit, der sich auf die Bekämpfung der Schäden konzentrierte, die mit KI-generierten sexuellen Inhalten verbunden sind.

In unserer Studie, für die 9.007 Teenager, junge Erwachsene und Eltern von Teenagern in 6 Ländern befragt wurden, wurde zum Beispiel Folgendes festgestellt. ¹24 % gaben an, dass sie irgendeine Arte von KI-generierten Bildern oder Videos gesehen haben, die sexueller Natur sind. Von denjenigen, die angaben, diese Art von Inhalten gesehen zu haben, gaben nur 2 % an, dass die Bilder von Personen waren, die jünger als 18 Jahre alt sind.

Ermutigend ist, dass 9 von 10 Personen, als sie diese Art von Inhalten sahen, Maßnahmen ergriffen haben. Sie reichten vom Blockieren oder Löschen der Inhalte (54 %) bis hin zum Sprechen mit vertrauenswürdigen Freunden oder der Familie (52 %). Nur 42 % gaben jedoch an, dass sie die Inhalte an die Plattform oder den Dienst gemeldet haben, von dem sie gesehen wurden, oder an eine Hotline / Helpline. Diese Erkenntnis folgt einem allgemeinen Trend zu niedrigeren Meldequoten bei Fragen der digitalen Sicherheit im Allgemeinen. In einem früheren Beitrag, haben wir darauf hingewiesen, wie wichtig es ist negativen Wahrnehmungen von Meldungen entgegenzuwirken, damit junge Menschen die Exposition gegenüber bestimmten problematischen Inhalten und Verhaltensweisen im Internet nicht normalisieren oder Berichterstattung mit Petzen gleichsetzen.

Noch beunruhigender ist, dass mehr als 40 % der Befragten sich unklar waren, ob Plattformen/Dienste gesetztlich verpflichtet sind, sexuelle Bilder von Minderjährigen zu melden, selbst wenn solche Bilder als Witze oder Memes gedacht sind. Und obwohl eine größere Zahl (über 70 %) erkannte, dass es illegal ist, KI-Technologie zu verwenden, um gefälschte sexuelle Inhalte einer Person zu erstellen oder sexuelle Bilder von Minderjährigen zu speichern, anzusehen oder zu teilen, zeigen diese Ergebnisse, dass noch viel zu tun ist, um sicherzustellen, dass die Öffentlichkeit sich der rechtlichen Anforderungen in Bezug auf diese Art von Inhalten bewusst ist.

In den USA beispielsweise gaben fast 40 % der Befragten an, dass sie glauben, dass es legal ist, KI-Technologie zu verwenden, um gefälschte sexuelle Bilder einer Person zu erstellen. Und anekdotisch haben wir von einem besorgniserregenden Trend von Kollegen in der Branche gehört: Mit der Verarbeitung dieser Art von Inhalten fühlen sich insbesondere einige Teenager-Mädchen „ausgeschlossen“, wenn sie nicht in KI-manipulierten sexuellen Bildern dargestellt werden, die ihre Gleichaltrigen auf unangemessene Weise erstellen und teilen. Dieser verstörende Punkt unterstreicht die Notwendigkeit, dieses spezifische Online-Risiko aufzuklären und das Bewusstsein für diese Art von Verhalten zu schärfen. Vertrauenswürdige Erwachsene und informierte Gleichaltrige spielen eine aktive Rolle dabei, dieses Verhalten zu verhindern.  

Das kontinuierliche Engagement von Snap

Bei Snap investieren wir kontinuierlich Ressourcen, Tools und Technologien, um sicherere, gesündere und positivere Erfahrungen auf Snapchat und im gesamten Tech-Ökosystem zu fördern.

In einigen Fällen verwenden wir verhaltensorientierte „Signale“, um potenziell illegale Aktivitäten zu identifizieren, damit wir böswillige Akteure proaktiv entfernen und sie den Behörden melden können. Darüber hinaus unternehmen wir als Dienst, der einen Chatbot für Konversations-KI-Systeme umfasst, besondere Anstrengungen, um die potenzielle Erzeugung von solchem Material auf Snapchat zu verhindern, sowie vor dem Teilen und der Verbreitung von Material zu schützen, das auf anderen Plattformen generiert wurde. Wir behandeln mutmaßliche KI-generierte sexuelle Bilder von Minderjährigen genauso wie „echte“ Bilder der sexuellen Ausbeutung und des Missbrauchs von Kindern (CSEAI). Wir entfernen die Inhalte, sobald wir darauf aufmerksam werden, und sperren das Konto, das dieses Gesetz bricht, und melden es an das National Center for Missing and Exploited Children (NCMEC). Dies erfolgt zusätzlich zur Nutzung und Bereitstellung von Technologien, die die Verbreitung von CSEAI verhindern sollen, einschließlich PhotoDNA (um Duplikate bekannter illegaler Bilder zu erkennen) und Google's CSAI Match (um Duplikate bekannter illegaler Videos zu erkennen). Wir haben zudem kürzlich damit begonnen, Google's Content Safety API zu verwenden (um neuartige „noch nie zuvor gehashte“ Bilder auf öffentlichen Inhalten zu erkennen). Wir haben zudem mit NCMEC zusammengearbeitet, wie wir die einzigartigen digitalen Signaturen „Hashes“) der 4.700 Meldungen nutzen können, die sie im vergangenen Jahr im Zusammenhang mit Material über sexuellen Missbrauch von Kindern erhielten, an dem GenAI beteiligt war.

Wir arbeiten mit den Strafverfolgunsbehörden zusammen, unterstützen ihre Ermittlungen und investieren massiv in unsere globalen Teams für Vertrauensbildung, Sicherheit und Strafverfolgungsmaßnahmen, die rund um die Uhr arbeiten, um unsere Community zu schützen. Wir veranstalten in den USA jährlich Gipfeltreffen zum Gesetzesvollzug, um zu gewährleisten, dass die zuständigen Beamten und Behörden stets vertraut sind mit den angemessensten Maßnahmen und Werkzeugen gegen illegale Aktivitäten auf unserer Plattform.

Wir bauen zudem unsere In-App-Melde-Tools weiter aus, die unserer Community die Möglichkeit bieten, Nacktheit und sexuelle Inhalte und insbesondere CSEAI zu kennzeichnen. Das Melden problematischer Inhalte und Accounts ist von entscheidender Bedeutung für Tech-Unternehmen, denn nur so können sie böswillige Akteure aus ihren Diensten und von ihren Plattformen entfernen und weitere Aktivitäten verhindern, ehe anderen Schaden zugefügt werden kann.

In jüngster Zeit haben wir unsere Family Center-Tool-Suite um neue Funktionen erweitert, mit denen Eltern besser verstehen können, wie ihre Teenager Snapchat nutzen, einschließlich unseres KI-Chatbots. Wir haben außerdem neue Ressourcen veröffentlicht, die Pädagogen und Schulverwaltern dabei helfen sollen, zu verstehen, wie ihre Schüler Snapchat nutzen und welche Ressourcen wir anbieten, um Schulen bei ihren Bemühungen zu unterstützen, sichere und unterstützende Umgebungen für Schüler zu schaffen.

Und wir investieren weiterhin in Möglichkeiten, die Öffentlichkeit und Snapchatter auf sexuelle Gefahren im Internet zu sensibilisieren. Unsere „Safety Snapshot“-Episoden in der App konzentrieren sich auf sexuelle Risiken, einschließlich Themen wie Online-Grooming von Kindern und Menschenhandel. Wir waren zudem das erste Unternehmen, das Know2Protect unterstützt hat. Es ist eine Kampagne des US-Ministeriums für Heimatsicherheit (U.S. Department of Homeland Security), die sich darauf konzentriert, junge Menschen, Eltern, vertrauenswürdige Erwachsene und politische Entscheidungsträger über den sexuellen Missbrauch von Kindern im Internet aufzuklären und zu stärken.

Wir freuen uns darauf, mit allen Arten von Stakeholdern – Eltern, jungen Menschen, Pädagogen und politischen Entscheidungsträgern, um nur einige zu nennen – weiterhin in Bezug auf diese Arten von gesamtgesellschaftlichen Problemen zusammenzuarbeiten. Wir hoffen, dass die Erkenntnisse aus unserer plattformübergreifenden Recherche dazu beitragen, neue Ideen und Möglichkeiten zu entwickeln, um sicherzustellen, dass sich Menschen der bestehenden und neuen Online-Bedrohungen bewusst sind und die verfügbaren Ressourcen verfügen, um diese Risiken zu bekämpfen.

— Viraj Doshi, Lead für Plattformsicherheit (Platform Safety Lead)