My AI 早期學習和全新加強安全

2023 年 4 月 4 日

我們於六週前推出 My AI,使用 OpenAI GPT 技術打造的聊天機器人。我們開始向 Snapchat+ 訂閱者提供 My AI,在一個多月內我們學到了不少。例如,我們了解到一些社群最常詢問 My AI 的主題,包括電影、運動、遊戲、寵物和數學。
我們也了解到一些潛在的濫用風險,其中許多均透過試圖讓聊天機器人提供不符合我們的規範的回答而得知。作為共同努力改進 My AI 的一部分,我們想分享最近根據經驗學習所採取的一些加強安全措施更新,以及我們計劃實施的全新工具。
My AI 資料處理方法
隱私一直是 Snapchat 使命的核心,它幫助人們在與朋友和家人交流時更自在地表達自己。在 Snapchat,我們致力於向社群提供下列方式的明確性和內容:我們的產品使用資料的方式,以及我們使用隱私設計流程打造功能的方式。例如,我們在 Snapchat 上處理朋友間對話相關資料與處理廣播內容相關資料的方式不同。因為廣播內容會觸及到大量受重,我們針對其內容要求更高的標準,並會進行審核。
但由於 My AI 是聊天機器人,並不是真人朋友,我們持續有意以不同的方式處理相關資料,即可善用對話記錄,持續讓 My AI 更加有趣、實用且安全。允許 Snapchat 使用者使用 My AI 之前,我們會向其顯示一則啟用訊息,明確表示所有 My AI 相關訊息將會予以保留,除非您將其刪除。
審核這些與 My AI 進行的早期互動,可幫助我們識別出妥善執行的保障措施及需要加強的措施。為了協助評估這一點,我們持續進行針對 My AI 查詢和回覆的審核,這些文字包含「不符合規範」的語言,我們將其定義為包括暴力、性露骨術語、非法藥物使用、兒童性虐待、霸凌、仇恨言論、貶低或存在偏見的論述、種族主義、厭女症或排斥代表少數群體的論述。Snapchat 明確禁止上述所有類別的內容。
我們最近的分析發現,My AI 的回應中僅有 0.01% 被視為不符合規範。最常見的不符合規範 My AI 回應的範例包括 My AI 在回答 Snapchatters 的問題時重複不適當的詞語。
我們將會持續利用這些經驗改善 My AI。這些資料也會幫助我們部署新的系統,以限制 My AI 的濫用情況。我們正在將 Open AI 的審核技術加入現有的工具集,這可讓我們評估潛在有害內容的嚴重性,並在 Snapchatter 濫用 My AI 服務時,暫時限制他們存取 My AI。
適齡體驗
我們認真對待我們的責任,設計以安全和年齡適宜為優先考量量的產品和體驗。自推出 My AI 以來,無論 Snapchatter 使用者的年齡大小,我們持續致力於改進其對不當 Snapchatter 要求的回應。我們也會使用主動偵測工具掃描 My AI 的對話,以尋找可能不符合規範的文字,進而採取行動。
同時,我們實施了 My AI 全新年齡訊號功能,運用 Snapchatter 的出生日期,這樣即使 Snapchatter 在對話中從未告訴 My AI 其年齡,此聊天機器人在進行對話時也會始終將其年齡考慮在內。
家庭中心中的 My AI
Snapchat 透過我們的應用程式「家庭中心」,讓父母和照顧者可了解其青少年最近正在與哪些朋友進行溝通及溝通方式。在未來的幾週內,我們將為家長提供更多其青少年與 My AI 互動的相關資訊。即表示父母可以使用家庭中心來查看他們的青少年是否與 My AI 進行溝通及其頻率。為使用「家庭中心」,家長和青少年都需要選擇加入,有興趣的家庭可以在此處深入了解如何註冊。
如果 Snapchatter 收到任何令人擔憂的 My AI 回應,我們持續鼓勵他們使用應用程式內報告工具,並向我們提交其對產品整體體驗的相關意見回饋。
我們持續致力於改進 My AI,且我們會不斷評估其他措施,以協助確保社群安全。我們感謝所有 My AI 早期的相關意見回饋,且我們致力於為社群提供有趣且安全的體驗。
返回最新消息