Privacy, Safety, and Policy Hub

การเรียนรู้ในช่วงต้นจาก My AI และการปรับปรุงความปลอดภัยใหม่

4 เมษายน 2023

หกสัปดาห์ที่แล้ว เราเปิดตัว My AI ซึ่งเป็นแชทบอทที่สร้างขึ้นด้วยเทคโนโลยี GPT ของ OpenAI เราเริ่มอย่างช้าๆ โดยให้บริการ My AI แก่สมาชิก Snapchat+ และในช่วงหนึ่งเดือนกว่าๆ เราได้เรียนรู้อะไรมากมาย ตัวอย่างเช่น เรารู้ว่าหัวข้อที่พบบ่อยที่สุดที่ชุมชนของเราถาม My AI ได้แก่ ภาพยนตร์ กีฬา เกม สัตว์เลี้ยง และคณิตศาสตร์

นอกจากนี้ เรายังได้เรียนรู้เกี่ยวกับโอกาสในการใช้ในทางที่ผิดบางอย่าง ซึ่งหลายส่วนเราได้เรียนรู้จากผู้ที่พยายามหลอกล่อแชทบอทให้การตอบสนองที่ไม่เป็นไปตามแนวทางของเรา ในฐานะส่วนหนึ่งของการทำงานร่วมกันของเราเพื่อปรับปรุง My AI เราต้องการแบ่งปันการอัปเดตเกี่ยวกับการปรับปรุงความปลอดภัยบางส่วนที่เราเพิ่งนำมาใช้อันเป็นผลมาจากการเรียนรู้ของเรา พร้อมกับเครื่องมือใหม่ๆ ที่เราวางแผนจะนำไปใช้

การเข้าถึงข้อมูลของ My AI 

ความเป็นส่วนตัวเป็นหัวใจสำคัญของพันธกิจของ Snap เสมอ ซึ่งช่วยให้ผู้คนรู้สึกสบายใจในการแสดงออกเมื่อสื่อสารกับเพื่อนและครอบครัว ทั่วทั้ง Snapchat เราพยายามให้ความชัดเจนและบริบทแก่ชุมชนของเราเกี่ยวกับวิธีที่ผลิตภัณฑ์ของเราใช้ข้อมูลและวิธีที่เราสร้างฟีเจอร์ต่างๆ โดยใช้กระบวนการที่ออกแบบมาเพื่อรักษาข้อมูลให้เป็นส่วนตัว ตัวอย่างเช่น วิธีที่เราจัดการกับข้อมูลที่เกี่ยวข้องกับการสนทนาระหว่างเพื่อนบน Snapchat จะแตกต่างจากวิธีที่เราจัดการกับข้อมูลที่เกี่ยวข้องกับเนื้อหาที่เผยแพร่บน Snapchat ซึ่งเรายึดถือมาตรฐานที่สูงกว่าและกำหนดให้มีการกลั่นกรองเนื่องจากเข้าถึงผู้ชมจำนวนมาก

อย่างไรก็ตาม เนื่องจาก My AI เป็นแชทบอทและไม่ใช่เพื่อนจริงๆ เราจึงตั้งใจปฏิบัติต่อข้อมูลที่เกี่ยวข้องด้วยวิธีที่แตกต่างออกไป เนื่องจากเราสามารถใช้ประวัติการสนทนาเพื่อทำให้ My AI สนุก มีประโยชน์ และปลอดภัยยิ่งขึ้นต่อไป ก่อนที่ผู้ใช้ Snapchat จะได้รับอนุญาตให้ใช้ My AI เราแสดงข้อความเริ่มต้นใช้งานให้พวกเขาเห็นอย่างชัดเจนว่า ข้อความทั้งหมดกับ My AI จะถูกเก็บไว้จนกว่าคุณจะลบทิ้ง

การที่เราสามารถตรวจสอบการโต้ตอบแต่เนิ่นๆ เหล่านี้กับ My AI ได้ช่วยให้เราระบุได้ว่าแนวป้องกันใดได้ผลดีและต้องทำให้แนวป้องกันใดแข็งแกร่งขึ้น เพื่อช่วยในการประเมินนี้ เราได้ดำเนินการตรวจสอบการสืบค้นและการตอบสนองของ My AI ที่มีภาษาที่ "ไม่สอดคล้องกับแนวทาง" ซึ่งเรากำหนดให้เป็นข้อความใดๆ ที่มีการอ้างอิงถึงความรุนแรง คำศัพท์ทางเพศที่โจ่งแจ้ง การใช้ยาเสพติดที่ผิดกฎหมาย การล่วงละเมิดทางเพศเด็ก การกลั่นแกล้ง คำพูดแสดงความเกลียดชัง ถ้อยคำที่ดูถูกเหยียดหยามหรือมีอคติ การเหยียดเชื้อชาติ การเกลียดผู้หญิง หรือการแบ่งแยกกลุ่มคนที่ด้อยโอกาส เราห้ามเนื้อหาประเภทเหล่านี้ทั้งหมดอย่างชัดเจนใน Snapchat

การวิเคราะห์ล่าสุดของเราพบว่ามีเพียง 0.01% ของการตอบสนองของ My AI ที่ถือว่าไม่เป็นไปตามแนวทาง ตัวอย่างการตอบสนองของ My AI ที่ไม่เป็นไปตามแนวทางที่พบบ่อยที่สุด ได้แก่ My AI ที่ใช้คำที่ไม่เหมาะสมซ้ำๆ ในการตอบคำถามของผู้ใช้ Snapchat

เราจะใช้การเรียนรู้เหล่านี้ต่อไปเพื่อปรับปรุง My AI ข้อมูลนี้จะช่วยให้เราปรับใช้ระบบใหม่เพื่อจำกัดการใช้ My AI ในทางที่ผิด เรากำลังเพิ่มเทคโนโลยีการกลั่นกรองของ Open AI ในชุดเครื่องมือที่มีอยู่ของเรา ซึ่งจะช่วยให้เราประเมินความรุนแรงของเนื้อหาที่อาจเป็นอันตราย และจำกัดการเข้าถึง My AI ของผู้ใช้ Snapchat เป็นการชั่วคราวหากพวกเขาใช้บริการในทางที่ผิด

ประสบการณ์ที่เหมาะกับอายุ

เรารับผิดชอบอย่างจริงจังในการออกแบบผลิตภัณฑ์และประสบการณ์ที่คำนึงถึงความปลอดภัยและความเหมาะสมกับอายุเป็นหลัก นับตั้งแต่เปิดตัว My AI เราได้ทำงานอย่างหนักเพื่อปรับปรุงการตอบสนองต่อคำขอของผู้ใช้ Snapchat ที่ไม่เหมาะสม โดยไม่คำนึงถึงอายุของผู้ใช้ Snapchat นอกจากนี้ เรายังใช้เครื่องมือตรวจจับเชิงรุกเพื่อสแกนการสนทนาใน My AI เพื่อหาข้อความที่อาจไม่สอดคล้องกับแนวทางและดำเนินการ

เรายังใช้สัญญาณแสดงอายุใหม่สำหรับ My AI โดยใช้วันเกิดของผู้ใช้ Snapchat ดังนั้นแม้ว่าผู้ใช้ Snapchat จะไม่เคยบอกอายุกับ My AI ในการสนทนาเลย แต่แชทบอทก็จะพิจารณาอายุของพวกเขาอย่างต่อเนื่องเมื่อทำการสนทนาด้วย

My AI ในศูนย์ครอบครัว

Snapchat ช่วยให้ผู้ปกครองและผู้ดูแลสามารถเห็นว่าลูกวัยรุ่นของพวกเขากำลังสื่อสารกับเพื่อนคนไหน และเมื่อใดในอดีต ผ่านศูนย์ครอบครัวในแอปของเรา ในอีกไม่กี่สัปดาห์ข้างหน้า เราจะให้ข้อมูลเชิงลึกแก่ผู้ปกครองเกี่ยวกับการโต้ตอบกับ My AI ของลูกวัยรุ่นของพวกเขา ซึ่งหมายความว่าผู้ปกครองจะสามารถใช้ศูนย์ครอบครัวเพื่อดูว่าลูกวัยรุ่นของพวกเขากำลังสื่อสารกับ My AI หรือไม่ และบ่อยเพียงใด หากต้องการใช้ศูนย์ครอบครัว ทั้งผู้ปกครองและลูกวัยรุ่นจำเป็นต้องเลือกที่จะใช้ และครอบครัวที่สนใจสามารถเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการสมัคร ที่นี่

เรายังคงสนับสนุนให้ผู้ใช้ Snapchat ใช้เครื่องมือการรายงานในแอปของเรา หากพวกเขาได้รับคำตอบที่น่ากังวลใดๆ จาก My AI และส่งคำติชมถึงเราเกี่ยวกับประสบการณ์โดยรวมเกี่ยวกับผลิตภัณฑ์

เรากำลังดำเนินการปรับปรุง My AI อย่างต่อเนื่อง และเราจะประเมินมาตรการเพิ่มเติมอย่างต่อเนื่องเพื่อช่วยให้ชุมชนของเราปลอดภัย เราขอขอบคุณทุกคำติชมในช่วงแรกเกี่ยวกับ My AI และเรามุ่งมั่นที่จะมอบประสบการณ์ที่สนุกและปลอดภัยให้กับชุมชนของเรา

กลับไปสู่ข่าว