近年來 AI 工具的快速發展已經並將繼續為創造力、學習與人際聯繫創造新的機會。 然而，這項技術也為現有網路風險帶來了新的動力。 新的研究顯示，隨着在網路上遇到充滿性暗示的 AI 影像與影片的次數持續增加，對於某些內容的非法性認識持續存在挑戰。

為了更好地瞭解青少年和年輕人在所有平台與服務中的心態與行為，Snap 進行並分享年度業界研究，我們稱之爲數位福祉指數。  (Snap 委託此項研究，但此研究總體上涵蓋了 Z 世代在數位空間的體驗，且沒有特別聚焦於 Snapchat)  雖然我們計劃在 2025 年 2月國際安全網路日之際公佈三年研究的完整結果，但我們想預覽關於瞭解青少年、年輕人，甚至家長如何參與及應對基於生成式 AI 的色情內容的一些關鍵發現。 我們今天宣佈此消息，是因為本週全球對兒童性剝削與性虐待的關注，並且我們加了「華盛頓特區賦權發聲峰會」(Empowering Voices DC Summit)，該峰會致力於解決與 AI 生成的色情內容相關的危害。 

例如，我們的研究調查了 6 個國家的 9,007 名青少年、年輕人和青少年的家長 ¹, 24% 的人表示他們見過某種 AI 生成的、具有色情性質的圖像或影片。 在聲稱見過此類內容的人中，只有 2% 的人表示影像中的人物未滿 18 歲。

令人鼓舞的是，當人們看到這種類型內容時，十分之九的人會採取一些行動，從封鎖或刪除內容 (54%)，到與值得信賴的朋友或家人討論 (52%)。 然而，只有 42% 的人表示他們將內容檢舉至他們看到這類内容的平台或服務，或檢舉至熱線/咨詢服務。 此見解遵循了數位安全相關問題的報告率普遍較低的更大趨勢。 我們在較早的一篇文章中指出，消除對舉報行為的負面看法十分重要，以便年輕人不會將在網路上接觸某些有問題的內容及行為視為常態，或將舉報與打小報告等同。 

更令人震驚的是，超過 40% 的受訪者不清楚平台/服務檢舉未成年人性影像的法律義務，即使這些影像是作為玩笑或模因。 雖然有更多的人 (70%+) 認識到使用 AI 技術創造某人的虛假色情內容，或保留、查看或分享未成年人的性影像是非法的，但這些發現顯示，為確保公眾瞭解與此類內容相關的法律要求，還有大量工作要做。

例如，在美國，近 40% 的受訪者表示他們認為使用 AI 技術創造虛假的個人性影像是合法的。 而且，我們從業界同行那裏得知一個令人擔憂的趨勢：隨着這類內容的泛濫，一些年輕的女孩如果不出現在同齡人不適當地創造和分享的 AI 操縱的性影像中，她們就會感到「被排除在外」。 這一令人不安的觀點進一步凸顯了對這種特定網路風險進行教育並提高認識的必要性，值得信賴的成年人和知情的同齡人會在阻止此類行為方面發揮積極作用。  

Snap 的持續承諾

在 Snap，我們一直在資源、工具和技術方面持續投入，幫助在 Snapchat 和整個科技生態系統上培養更安全、更健康、更積極的體驗。

在某些情況下，我們使用行為「信號」來識別潛在的非法活動，以便我們主動移除不良行為者並向當局報告。 此外，作為一項包括對話式 AI 聊天機器人的服務，我們努力提高警惕，防止在 Snapchat 上生成此類素材的可能性，並防止共享和分發可能已在其他平台上生成的素材。 我們將 AI 生成的未成年人性影像視為「真實」的兒童性剝削與性虐待影像 (CSEAI)，一旦我們接獲通知，就會刪除內容，暫停違規帳戶，並報告給國家失蹤與受虐兒童中心 (NCMEC) 。 此外，這還不包括利用和部署旨在防止 CSEAI 傳播的技術，包括 PhotoDNA (偵測已知非法影像的重複)和 Google 的 CSAI 匹配 (偵測已知非法影片的重複)。 我們最近也開始使用 Google 的內容安全 API（協助偵測公共內容上「從未雜湊」的影像）。 我們還與 NCMEC 合作，瞭解如何利用他們去年收到的與涉及生成式 AI 的兒童性虐待材料相關的4,700 份報告的獨特數位簽名（或「雜湊」）。 

我們與執法部門合作，支持他們的調查，並大力投資我們的全球信任與安全與執法行動團隊，這些團隊全天候工作，幫助確保我們的社群安全。 我們在美國舉辦年度執法高峰會，以確保官員與機構知道如何採取適當行動，打擊平台上可能發生的任何非法活動。 

我們還繼續擴展應用程式內檢舉工具，包括我們的社群標記裸體和性內容的選項，特別是 CSEAI。 檢舉有問題的內容及帳戶對於科技公司來說，在對他人造成潛在的傷害之前，將不良行為者從其服務中剔除，並阻止其進一步的活動，是極為重要的事。

最近，我們為家庭中心工具套件新增新功能，家長可以使用這些功能幫助他們更佳地瞭解他們的青少年如何使用 Snapchat，包括我們的 AI 聊天機器人。 我們還發布新資源，幫助教育工作者和學校管理人員瞭解學生如何使用 Snapchat，以及我們提供的資源，幫助學校為學生創造安全且支持性的環境。

而且，我們將繼續投入各種資源，以提高公眾和 Snapchat 用戶對網路性危害的認知。 我們的應用程式内「安全性 Snap 快照」劇集專注於性風險，包括兒童網路誘騙和販運等主題。 我們也是第一個支持 Know2Protect的實體，這是一項由美國國土安全部發起的運動，致力於教育和賦權年輕人、家長、值得信賴的成年人以及政策制定者瞭解兒童網路性虐待。 

我們期待繼續與所有類型的利益相關者 - 家長、年輕人、教育工作者和政策制定者等合作，瞭解這些類型的整個社會問題，並希望我們跨平台研究的見解有助於創造新的想法和機會，確保人們瞭解現有和新的網路威脅，以及可用來應對這些風險的資源。 

- Viraj Doshi，平台安全主管