近年来人工智能工具的迅速崛起，已经并且将会继续为创造性、学习和联系创造新的机会。然而，这项科技也给现有的网络风险增添了新的变数。新的研究表明，随着在网上遇到渲染色情的人工智能图像和视频的人数不断增加，对某些此类内容的不合法化仍然是一个挑战。

为了更好地了解所有平台和服务的青少年和年轻人的态度和行为，Snap 每年开展并分享一项年度全行业研究，称为数字健康指数。  （Snap 委托进行了这项研究，但它一般来说涵盖了整个数字空间里 Z 世代的经历，没有特别强调 Snapchat。）  虽然，我们计划在 2025 年 2 月的国际更安全的互联网日，发布我们第三年研究的全部结果，但我们想先重点呈现一些关于青少年、年轻人，甚至家长如何参与和回应基于生成式人工智能的色情内容的主要发现。 我们才在今天这样做，是因为本周针对儿童性剥削和虐待的全球关注，以及结合我们参与的赋能声音DC峰会，它重点解决人工智能生成的色情内容带来的危害。 

例如，在我们的研究中，调查了6个国家的9,007名青少年、年轻人和青少年家长 ¹，24% 的人表示曾看到过一些本质上是色情内容的人工智能生成的图像或视频。 在声称看到过此类内容的人中，只有 2% 的人表示图片是年龄不满 18 周岁的人。

令人鼓舞的是，当人们看到此类内容时，十之有九的人都采取了行动，这包括屏蔽或删除内容 (54%)，或告诉值得信赖的朋友或家人 (52%)。 然而，只有 42% 的人表示，他们向见到该内容的平台、服务，或某热线/帮助热线举报了该内容。这一洞察反映了一个更大的趋势，那就是对数字安全相关问题的报告率普遍较低。 我们在早些时候的一篇帖文中指出，消除对举报的负面看法的重要性，这样年轻人就不会把暴露于某些不良内容和网络行为正常化，也不会把举报等同于打小报告。 

更令人震惊的是，超过 40% 的受访者不清楚平台/服务举报未成年人的色情图像的法律义务，即使这类图像是为了搞笑或制作成梗图。而且，虽然大量（70%）的人承认使用人工智能技术创作虚假的色情内容，或保留、查看或分享未成年人的色情图像是非法，但这些研究发现表明，为确保公众了解与此类内容相关的法律要求，还有大量工作要做。

例如，在美国，近 40% 的受访者表示，他们认为使用人工智能技术创作虚假色情图像是合法的。 而且，据传闻，我们从业界同行那里听到一个令人担忧的趋势：随着此类内容激增，一些青少年女孩会因她们未出现在其同学，以不当方式创作和分享的人工智能处理过的色情图像中，而感到”受冷落“。这一令人不安的情况，进一步强调了对此类网络风险进行教育和提高认知度的必要性，值得信赖的成年人和知情的同龄人，在阻止此类行为方面可以发挥积极作用。  

Snap 的持续承诺

在 Snap，我们不断在资源、工具和科技方面进行投资，以帮助在 Snapchat 上和整个科技生态系统中，培养更安全、更健康和更积极的体验。

在某些情况下，我们使用行为“信号”来识别潜在的非法活动，以便我们能主动清除不良行为者，并向当局举报。 此外，作为一项包括对话式 AI 聊天机器人的服务，我们努力提高警惕，防止在 Snapchat 上生成此类素材的可能性，并防止分享和分发可能在其他平台上生成的素材。 我们将对疑似人工智能生成的未成年人的色情图像，与“真实”的儿童色情剥削和虐待图像（CSEAI）同等对待，一旦发现此类内容就会删除、暂停违规帐户、并向国家失踪和受剥削儿童中心（NCMEC）举报。 这是除了利用和部署旨在防止 CSEAI 传播的科技，包括 PhotoDNA（用来检测已知非法图像的复制品）和谷歌的 CSAI 匹配（用来检测已知非法视频的复制品）之外的应对措施。 最近，我们还开始使用谷歌的内容安全 API（帮助检测在公开内容上出现的新奇、“首次哈希”的图像）。 我们还与 NCMEC 进行合作，讨论如何利用他们去年收到的与涉及 GenAI 的儿童色情虐待素材相关的4700 份报告中的独特数字签名（或“哈希”）。 

我们与执法部门合作、支持他们的调查，并给我们的全球信任与安全和执法行动团队投入大量资金，他们全天候工作以协助确保社区安全。 我们每年在美国举办执法行动峰会，以确保官员和机构知道如何采取适当行动，打击可能在我们平台上发生的任何非法活动。 

我们还继续扩展我们的应用内举报工具，包括社区标记裸体和色情内容的选项，特别是 CSEAI。 举报不良内容和帐户至关重要，对帮助科技公司清理其平台上的不良行为者，并在它有可能对他人造成伤害之前，阻止其进一步的活动。 

就在最近，我们为我们的家庭中心工具套件添加了新的功能，家长可以使用这些工具更好地了解他们的孩子如何使用 Snapchat，包括我们的人工智能聊天机器人。 我们还发布了新的资源，以帮助教育工作者和学校管理人员了解学生如何使用 Snapchat，以及我们向学校提供的资源，以协助他们努力为学生创建安全和支持性的环境。

而且，我们将继续为提高公众和 Snapchat 用户对网络色情伤害的认知度的方法进行投资。我们的应用内“安全性 Snapshot“视频内容聚焦色情风险，包括儿童网络诱骗和人口贩卖等话题。 我们也是第一个支持 Know2Protect 的实体，这是一项美国国土安全部的宣传活动，关注教育和使年轻人、家长、值得信赖的成年人和决策者权力更了解网络儿童色情虐待问题。 

我们期待继续就这些类型的全社会问题，与所有类型的利益相关者（家长、年轻人、教育工作者和决策者）合作，并希望我们的跨平台研究所得出的见解，有助于创造新的想法和机会，以确保人们了解现有的和新的网络威胁，以及帮助应对这些风险的资源。 

——平台安全主管 Viraj Doshi