近年のAIツールの急速な台頭は、創造性、学習、つながりのための新しい機会を生み出し続けるでしょう。 しかし、このテクノロジーは、既存のオンラインリスクに新たなダイナミックスをもたらしました。 新しい調査によると、性的に刺激的なAI画像やビデオにオンラインで遭遇する人の数は増加し続けていますが、それらのコンテンツの一部の違法性の認識が依然として課題であることが示されています。

すべてのプラットフォームやサービスにおけるティーンエイジャーやヤングアダルトの態度や行動をより深く理解するために、Snapはデジタル・ウェルビーイング・インデックスと呼ばれる業界全体の年次調査を実施し、共有しています。  （Snapは調査を委託しましたが、Snapchatに特化したものはなく、デジタル空間全般にわたるZ世代の体験を対象としています。）  当社は、2025年2月の国際セーファーインターネットデーに合わせて、3年目の調査の全結果を発表する予定です。その調査では、ティーン、ヤングアダルト、さらには両親がAIベースの生成的な性的コンテンツに、どのように関与し、反応しているか、に関する重要な調査結果をプレビューしたいと思います。 当社は、今週、児童の性的搾取や虐待に世界的に重点が置いていることに鑑み、またAIが生成した性的コンテンツに関連する被害に対処することに焦点を当てた「Empowering Voices DCサミット」へ当社が参加したことに伴い、このような取り組みを行います。 

例えば、6カ国の9,007人のティーンエイジャー、ヤングアダルト、ティーンエイジャーの両親を対象にした当社の調査では、 ¹、24％が、AIが生成した何らかの性的な画像や、ビデオを見たことがあると答えました。 このタイプのコンテンツを見たと主張した人のうち、その画像が18歳以下の誰かのものであると答えたのはわずか2％でした。

人々がこのような種類のコンテンツを見た場合、10人中9人が、コンテンツのブロックまたは削除（54％）から、信頼できる友人や家族への会話（52％）まで、何らかの措置を講じました。 しかし、そのコンテンツを閲覧したプラットフォームやサービス、またはホットライン/ヘルプラインに報告したと回答したのは42％でした。 この洞察は、一般的にデジタル安全関連の問題に関する報告率が低いというより大きな傾向に続くものです。 以前の記事で、若者が特定の問題のあるコンテンツやオンラインでの行動に触れることを当たり前と考えたり、報告を告げ口と同一視したりしないように、報告に対する否定的な認識に対抗することの重要性を指摘しました。 

さらに驚くべきことに、回答者の40％以上が、たとえジョークやミームを意図したものであっても、プラットフォーム/サービスが未成年者の性的画像を報告する法的義務について、不明確だと回答しています。 また、より多くの人（70％以上）が、AI技術を使用して人の偽の性的コンテンツを作成したり、未成年者の性的画像を保持、閲覧、共有したりすることは違法であると認識していました。しかし、これらの調査結果は、一般大衆がこの種のコンテンツに関連する法的要件を認識していることを確認するために、かなりの努力があることを示しています。

例えば、米国では回答者の40％近くが、AI技術を使用して人の偽の性的画像を作成することは合法であると信じていると答えています。 そして、逸話として、業界の同僚から懸念される傾向について聞いています。この種のコンテンツの急増に伴い、特に一部のティーンエイジャーは、仲間が不適切に作成し共有しているAI操作された性的画像に、自分が登場しない場合に「除外された」と感じています。 この憂慮すべき点は、信頼できる成人や情報に基づいた仲間がこの種の行動を阻止するために積極的な役割を果たすことで、この特定のオンラインリスクを教育し、認識を高める必要があることをさらに強調しています。  

Snapの継続的なコミットメント

Snapでは、Snapchatおよびテックエコシステム全体で、より安全で健全でポジティブな体験を促進するために、リソース、ツール、テクノロジーに継続的に投資しています。

場合によっては、当社は、不正行為の可能性があることを特定するために、行動の「シグナル」を使用して、悪質な行為を積極的に排除し、当局に報告することができます。 さらに、会話型のAIチャットボットを含むサービスとして、当社はSnapchatでのそのような素材の生成を防ぐだけでなく、他のプラットフォームで生成された可能性のある素材の共有や配布を防ぐために、特別な警戒心を持つよう努めています。 当社は、AIが生成した未成年者の性的画像を「本物の」児童性的搾取・虐待画像（CSEAI）と同様に扱い、そのことに気がついたらコンテンツを削除し、違反アカウントを一時停止し、 米国行方不明・被搾取児童センター（NCMEC）に報告します。 これに加えて、PhotoDNA（違法画像の複製を検出するために）やGoogleのCSAI Match（違法動画の複製を検出するために）を含むCSEAIの拡散を防ぐために設計された技術を活用して展開しています。 また、当社は最近、Googleのコンテンツ安全API（公共コンテンツに「ハッシュ化されていない」画像を検出するために）の使用を開始しました。 また、GenAIが関与した児童性的虐待資料に関連して、昨年受け取った4,700件の報告のうち、固有のデジタル署名（または「ハッシュ」）を活かす方法について、NCMECと契約しています。 

当社は、法執行機関と協力し、彼らの捜査を支援し、コミュニティの安全を守るために24時間365日働くトラスト＆セーフティ＆法執行機関チームに多額の投資を行っています。 当社は、米国で法執行機関向けの年次サミットを開催し、当社のプラットフォーム上で発生する可能性のある違法行為に対して、警察官や捜査機関が適切な対応について確実に把握できるよう努めています。 

また、コミュニティがヌードや性的コンテンツ、特にCSEAIにフラグを立てるオプションを含む、アプリ内報告ツールを拡張し続けています。 問題のあるコンテンツやアカウントを報告することは、テック企業が自社のサービスから悪人を排除し、他者に危害を及ぼす可能性がある前に、さらなる活動を阻止するために決定的に重要です。

最近では、両親が彼らの10代の子供がSnapchatを使用する方法をよりよく理解するために、ファミリーセンターのツールスイートに、AIチャットボットを含む新機能を追加しました。 また、教育者や学校管理者が、生徒がSnapchatをどのように使用しているか、および生徒が学生にとって安全で支援的な環境を作るために学校を支援するために当社が提供するリソースを理解するのに役立つ新しいリソースをリリースしました。

また、当社は、一般およびSnapchatユーザーのオンライン性的被害に対する認識を高めるための方法に投資し続けています。 当社のアプリ内「Safety Snapshot」のエピソードは、オンライン・チャイルド・グルーミングや人身売買などの話題を含む性的リスクに焦点を当てています。 また、当社は、米国国土安全保障省によるキャンペーンであるKnow2Protectを支援する最初の法人 / 組織でした。これは、若者、両親、信頼できる大人、政策立案者に、オンラインでの児童性的虐待について教育し、権限を与えることに焦点を当てています。 

当社は、両親、若者、教育者、政策立案者など、あらゆるタイプのステークホルダーと、これらのタイプの社会全体の問題について、引き続き協力していくことを楽しみにしています。当社のクロスプラットフォームの調査からの洞察が、人々が既存および新しいオンライン脅威、およびこれらのリスクと戦うために利用可能なリソースを確実に認識するための新しいアイデアや機会を生み出すのに役立つことを願っています。 

— Viraj Doshi、プラットフォーム安全リード