Sự gia tăng nhanh chóng của các công cụ AI trong những năm gần đây đã và sẽ tiếp tục tạo ra nhiều cơ hội mới để sáng tạo, học hỏi và kết nối. Tuy nhiên, công nghệ này cũng đã gia tăng các rủi ro trực tuyến hiện có. Nghiên cứu mới chỉ ra rằng khi số lượng người nhìn thấy hình ảnh và video được tạo bằng AI có nội dung khiêu dâm trực tuyến tiếp tục tăng thì nhận thức về việc vi phạm pháp luật của một số nội dung này tiếp tục là một thách thức.

Để hiểu rõ hơn về thái độ và hành vi của thanh thiếu niên và giới trẻ trên tất cả các nền tảng và dịch vụ, Snap tiến hành và chia sẻ nghiên cứu hàng năm trên toàn ngành được gọi là Chỉ số Sức khỏe Số của chúng tôi.  (Snap đã ủy thác nghiên cứu này, nhưng nó bao gồm các trải nghiệm của Thế hệ Z trên các không gian kỹ thuật số nói chung, mà không tập trung cụ thể vào Snapchat.)  Mặc dù chúng tôi dự định công bố kết quả đầy đủ từ nghiên cứu Năm thứ ba của chúng tôi kết hợp với Ngày Internet An toàn quốc tế vào tháng 2 năm 2025, chúng tôi muốn xem một số phát hiện quan trọng về cách thanh thiếu niên, người trẻ tuổi và thậm chí cả cha mẹ họ tham gia và phản ứng với nội dung khiêu dâm do AI tạo ra. Tuần này chúng tôi đang làm điều đó trong bối cảnh toàn cầu tập trung vào việc bóc lột và lạm dụng tình dục trẻ em, và kết hợp với sự tham gia của chúng tôi vào Hội nghị thượng đỉnh Trao quyền DC, tập trung vào việc giải quyết các tác hại liên quan đến nội dung khiêu dâm do AI tạo ra. 

Ví dụ, nghiên cứu của chúng tôi đã khảo sát 9.007 thanh thiếu niên, người trẻ tuổi và cha mẹ của họ trên 6 quốc gia ¹, 24% cho biết họ đã xem một số loại hình ảnh hoặc video do AI tạo ra có tính chất khiêu dâm. Trong số những người nói đã xem loại nội dung này, chỉ 2% cho biết có hình ảnh của người dưới 18 tuổi.

Điều đáng mừng là khi mọi người xem loại nội dung này, 9 trên 10 người đã thực hiện một số hành động như chặn, xóa nội dung (54%) hoặc nói chuyện với bạn bè, người thân đáng tin cậy (52%). Tuy nhiên, chỉ 42% cho biết họ đã báo cáo với nền tảng hoặc dịch vụ xuất hiện nội dung khiêu dâm hoặc gọi cho đường dây nóng/đường dây trợ giúp. Thông tin chuyên sâu này phản ánh xu hướng lớn hơn của việc tỷ lệ báo cáo thấp hơn về các vấn đề liên quan đến an toàn kỹ thuật số nói chung. Chúng tôi đã chỉ ra, trong một bài đăng trước đó, về tầm quan trọng của việc chống lại nhận thức tiêu cực để những người trẻ tuổi không được bình thường hóa việc tiếp xúc với một số nội dung có vấn đề và hành vi trực tuyến hoặc báo cáo tương đương với chuyện phiếm truyền thông. 

Đáng báo động hơn nữa là hơn 40% số người được hỏi không rõ về nghĩa vụ pháp lý đối với các nền tảng/dịch vụ để báo cáo hình ảnh khiêu dâm của trẻ vị thành niên, ngay cả khi những hình ảnh đó được coi là trò đùa hoặc meme. Và, mặc dù có nhiều hơn (70% +) người thừa nhận rằng việc sử dụng công nghệ AI để tạo ra nội dung khiêu dâm giả mạo của một người hoặc lưu giữ, xem hoặc chia sẻ hình ảnh khiêu dâm của trẻ vị thành niên là bất hợp pháp, nhưng những phát hiện này cho thấy có nhiều việc phải làm để đảm bảo mọi người nhận thức được các yêu cầu pháp lý liên quan đến loại nội dung này.

Ví dụ, ở Hoa Kỳ, gần 40% số người được hỏi cho biết họ tin rằng việc sử dụng công nghệ AI để tạo ra hình ảnh khiêu dâm giả mạo của một người là hợp pháp. Và chúng tôi đã nghe về một xu hướng đáng lo ngại từ các đồng nghiệp trong ngành: với sự phổ biến của loại nội dung này, một số cô gái vị thành niên nói riêng đang cảm thấy "bị bỏ rơi" nếu không được xuất hiện trong hình ảnh khiêu dâm bị AI thao túng mà bạn bè tạo và chia sẻ một cách không phù hợp. Điểm đáng lo ngại này nhấn mạnh thêm sự cần thiết phải giáo dục và nâng cao nhận thức về rủi ro trực tuyến cụ thể này, với những người lớn đáng tin cậy và những người đóng vai trò tích cực trong việc ngăn chặn loại hành vi này.

Cam kết liên tục của Snap

Tại Snap, chúng tôi liên tục đầu tư vào các nguồn lực, công cụ và công nghệ để giúp thúc đẩy những trải nghiệm an toàn hơn, lành mạnh hơn và tích cực hơn trên Snapchat và trên toàn hệ sinh thái công nghệ.

Trong một số trường hợp, chúng tôi sử dụng các "tín hiệu" hành vi để xác định hoạt động bất hợp pháp tiềm ẩn để chúng tôi có thể chủ động loại bỏ kẻ xấu và báo cáo chúng cho chính quyền. Hơn nữa, là một dịch vụ bao gồm chatbot AI đàm thoại, chúng tôi nỗ lực cảnh giác hơn nữa trong việc ngăn chặn việc tạo nội dung đó trên Snapchat, cũng như bảo vệ chống lại việc chia sẻ và phân phối nội dung có thể đã được tạo trên các nền tảng khác. Chúng tôi xử lý hình ảnh khiêu dâm bị nghi ngờ do AI tạo ra giống như hình ảnh Lạm dụng và Xâm hại Tình dục Trẻ em (CSEAI) "xác thực", xóa nội dung khi chúng tôi phát hiện, đình chỉ tài khoản vi phạm và báo cáo cho Trung tâm Quốc gia về Trẻ em Mất tích và Bị bóc lột (NCMEC). Ngoài việc tận dụng và triển khai công nghệ được thiết kế để ngăn chặn sự lan truyền của CSEAI, bao gồm PhotoDNA (để phát hiện bản sao hình ảnh bất hợp pháp đã được biết đến) và CSAI Match của Google (để phát hiện bản sao của video bất hợp pháp đã được biết đến). Gần đây chúng tôi cũng bắt đầu sử dụng API An toàn Nội dung của Google (để hỗ trợ phát hiện tiểu thuyết, hình ảnh "chưa từng được trang bị hàm băm trước đây" trên nội dung công khai). Chúng tôi cũng đã tham gia với NCMEC về cách tận dụng chữ ký kỹ thuật số duy nhất (hoặc "hàm băm") của 4.700 báo cáo mà họ nhận được năm ngoái liên quan đến tài liệu lạm dụng tình dục trẻ em có liên quan đến GenAI. 

Chúng tôi hợp tác với cơ quan thực thi pháp luật, hỗ trợ các cuộc điều tra của họ và đầu tư mạnh vào các nhóm Hoạt động Thực thi Pháp luật và Tín nhiệm và An toàn trên toàn cầu của chúng tôi làm việc 24/7 để giúp giữ an toàn cho cộng đồng của chúng tôi. Chúng tôi tổ chức các hội nghị thượng đỉnh thường niên về thực thi pháp luật ở Hoa Kỳ để đảm bảo các nhân viên và cơ quan biết cách thực hiện hành động thích đáng đối với bất kỳ hoạt động bất hợp pháp nào có thể đang diễn ra trên nền tảng của chúng tôi. 

Chúng tôi cũng tiếp tục mở rộng các công cụ báo cáo trong ứng dụng, bao gồm các tùy chọn để cộng đồng của chúng tôi gắn cờ nội dung khỏa thân và khiêu dâm và cụ thể là CSEAI. Báo cáo nội dung và tài khoản có vấn đề rất quan trọng để giúp các công ty công nghệ loại bỏ kẻ xấu khỏi dịch vụ của họ và ngăn chặn hoạt động hơn nữa trước khi nó có thể gây hại cho người khác.

Gần đây, chúng tôi đã thêm các tính năng mới vào bộ công cụ Trung tâm Gia đình của mình, mà các bậc cha mẹ có thể sử dụng để hiểu rõ hơn về cách con cái mình đang sử dụng Snapchat, bao gồm cả chatbot AI của chúng tôi. Chúng tôi cũng phát hành các tài nguyên mới để giúp các nhà giáo dục và quản trị viên trường học hiểu cách học sinh của họ sử dụng Snapchat và các nguồn tài nguyên chúng tôi cung cấp cho các trường học hỗ trợ trong nỗ lực tạo ra môi trường an toàn và hỗ trợ cho học sinh.

Và, chúng tôi đang tiếp tục đầu tư theo các cách để nâng cao nhận thức của công chúng và Tín đồ Snapchatter về các tác hại về nội dung khiêu dâm trực tuyến. Các tập phim "Safety Snapshot" trong ứng dụng của chúng tôi tập trung vào các rủi ro tình dục, bao gồm các chủ đề như chăn dắt tình dục và buôn bán trẻ em trực tuyến. Chúng tôi cũng là cơ quan đầu tiên hỗ trợ Know2Protect, một chiến dịch của Bộ An ninh Nội địa Hoa Kỳ tập trung vào việc giáo dục và trao quyền cho những người trẻ, các bậc cha mẹ, những người lớn đáng tin cậy và những người hoạch định chính sách về lạm dụng tình dục trẻ em trực tuyến. 

Chúng tôi mong muốn tiếp tục làm việc với tất cả các bên liên quan - như các bậc phụ huynh, thanh thiếu niên, nhà giáo dục và các nhà hoạch định chính sách - về các vấn đề toàn xã hội này và hy vọng rằng những hiểu biết sâu sắc từ nghiên cứu đa nền tảng của chúng tôi giúp tạo ra những ý tưởng cũng như cơ hội mới để đảm bảo mọi người nhận thức được các mối đe dọa trực tuyến mới và đang tồn tại, cũng như các nguồn lực sẵn có để giúp chống lại những rủi ro này. 

— Viraj Doshi, Trưởng nhóm An Toàn Nền Tảng