来自 My AI 的早期学习经验和新增安全增强功能

2023 年 4 月 4 日

六周前,我们推出了 My AI,这是一款通过 OpenAI 的 GPT 技术构建的聊天机器人。我们先向 Snapchat+ 订阅者提供 My AI,由此慢慢推进;在一个多月的时间里,我们学习到了大量经验。例如,我们了解到社群成员向 My AI 询问的一些最常见的话题,包括电影、体育、游戏、宠物和数学。
我们还了解到一些潜在的滥用情况,其中很多场景是用户试图欺骗聊天机器人提供不符合规范的回答。我们近期通过学习总结实施了一些安全增强功能,并计划实施新的工具。作为 My AI 联合改善工作的一部分,我们希望分享其中一部分安全增强功能和新工具的最新情况。 
My AI 的数据处理方法 
隐私一直是 Snap 的核心使命,它可以使用户在与好友和家人交流时更加舒适地表达自己。在 Snapchat 中,我们会尽量为社群阐明信息和介绍背景,让成员了解我们的产品如何使用数据以及我们如何使用隐私设计流程来构建功能。例如,我们对 Snapchat 上好友间对话的相关数据与 Snapchat 上传播内容的相关数据会采用不同的处理方式;我们对后者的标准更高,并要求对其进行审核,因为它会覆盖大量受众。 
然而,由于 My AI 是聊天机器人,而不是真实好友,我们一直审慎地以不同的方式处理相关数据,因为我们能够利用对话历史记录,继续提升 My AI 的趣味性、实用性和安全性。在允许 Snapchatter 使用 My AI 之前,我们会向其展示一条新用户引导信息,明确说明除非用户删除 My AI 中的所有信息,否则这些信息将会保留。 
审查与 My AI 的这些早期互动有助于我们确定哪些准则行之有效,哪些准则需要加强。为了帮助评估,我们一直在审查 My AI 中包含“不合规”语句的查询和回答;这些语句的定义是任何包含提及暴力、色情用语、非法药物使用、儿童性虐待、霸凌、仇恨言论、贬低或带偏见表述、种族主义、厌女或边缘化代表性不足群体的文本。这些类别的所有内容在 Snapchat 上均受到明令禁止。
我们最近一次分析发现,My AI 中可视为不合规的回答仅占 0.01%。最常见的 My AI 不合规回答的示例包括 My AI 在回答 Snapchatter 问题时重复不恰当的词语。
我们将继续利用上述经验来改善 My AI。这些数据还将帮助我们部署新的系统,以限制对 My AI 的滥用。我们正在将 Open AI 的审核技术添加到现有工具集中,这将有助于评估潜在有害内容的严重程度,并在 Snapchatter 滥用服务时暂时限制他们对 My AI 的访问。 
与年龄相适应的体验 
我们会重视自身责任,在产品和体验设计中优先考虑安全和适龄。自推出 My AI 以来,我们一直致力于改善其对 Snapchatter 不恰当请求的回答,无论 Snapchatter 年龄多大。我们还使用主动检测工具扫描 My AI 对话中可能不合规的文本并采取行动。
此外,我们利用 Snapchatter 的出生日期,在 My AI 中实施了新的年龄信号。这样一来,即使 Snapchatter 在对话中从未告知 My AI 他们的年龄,聊天机器人在参与对话时也会始终考虑其年龄。 
家庭中心的 My AI
Snapchat 通过应用内家庭中心,为父母和看护人提供可见性,让他们了解孩子们的聊天好友以及聊天频率。在未来几周,我们将为父母提供更多关于孩子们与 My AI 的互动信息。这意味着父母将能够使用家庭中心查看孩子们是否在与 My AI 交流以及交流的频率。要使用家庭中心,父母和孩子都需要选择加入。感兴趣的家庭可以在此处了解更多关于如何注册的信息。 
我们会继续鼓励 Snapchatter 在收到 My AI 的任何相关不恰当回答后使用应用内嵌举报工具,以及就该产品的整体体验向我们提交反馈。 
我们一直在努力改善 My AI,并将不断评估其他措施以维持社群安全。我们由衷感谢所有关于 My AI 的早期反馈,并致力于为社群提供兼具趣味性和安全性的体验。 
回到新闻