My AI आणि नवीन सुरक्षा सुधारणांमधून प्रारंभिक शिक्षण

4 एप्रिल 2023

सहा आठवड्यांपूर्वी आम्ही My AI, OpenAI च्या GPT तंत्रज्ञानासह तयार केलेला चॅटबॉट आणला. Snapchat+ सदस्यांना My AI प्रदान करून आम्ही हळूहळू सुरुवात केली आणि एका महिन्यात आम्ही बरेच काही शिकलो. उदाहरणार्थ, चित्रपट, खेळ, गेम्स, पाळीव प्राणी आणि गणित यांचा समावेश करण्यासाठी आमच्या कम्युनिटीने My AI ला विचारलेले काही सामान्य विषय आम्हाला माहीत आहेत.
आम्ही काही गैरवापराच्या संभाव्यतेबद्दल देखील शिकलो आहोत, ज्यापैकी बरेच काही आम्ही आमच्या दिशानिर्देशक तत्त्वांचे पालन न करणारे प्रतिसाद प्रदान करण्यासाठी चॅटबॉटला फसवण्याचा प्रयत्न करणाऱ्या लोकांकडून शिकलो आहोत. My AI सुधारण्याच्या आमच्या संयुक्त कार्याचा एक भाग म्हणून, आम्ही आमच्या शिकण्याच्या परिणामी नुकत्याच केलेल्या काही सुरक्षा सुधारणांबद्दल अपडेट शेअर करू इच्छितो — सोबत नवीन टूल्ससह आम्ही अंमलबजावणी करण्याची योजना आखत आहोत. 
डेटाकडे My AI चा दृष्टिकोन 
Snap च्या मिशनमध्ये गोपनीयता नेहमीच केंद्रस्थानी राहिली आहे — ती लोकांना मित्र आणि कुटुंबीयांशी संवाद साधताना अधिक सहजतेने व्यक्त होण्यास मदत करते. संपूर्ण Snapchat वर आम्ही आमच्या कम्युनिटीला आमची उत्पादने डेटा कसा वापरतो आणि आम्ही प्रायव्हसी-बाय-डिझाइन प्रक्रिया वापरून वैशिष्ट्ये कशी तयार करतो याबद्दल स्पष्टता आणि संदर्भ प्रदान करण्याचा प्रयत्न करतो. उदाहरणार्थ, आम्ही Snapchat वर मित्रांमधील संभाषणांशी संबंधित डेटा ज्या प्रकारे हाताळतो तो Snapchat वर प्रसारित कंटेंटशी संबंधित डेटा कसा हाताळतो यापेक्षा वेगळा असतो, ज्याला आम्ही उच्च मानक धारण करतो आणि नियंत्रित करणे आवश्यक आहे कारण ते मोठ्या प्रेक्षकांपर्यंत पोहोचते. 
तथापि, My AI हा चॅटबॉट आहे आणि खरा मित्र नसल्यामुळे, आम्ही संबंधित डेटाला वेगळ्या पद्धतीने हाताळण्याचा मुद्दाम विचार केला आहे, कारण My AI ला अधिक मनोरंजक, उपयुक्त आणि सुरक्षित बनवण्यासाठी आम्ही संभाषण हिस्ट्री वापरण्यास सक्षम आहोत. स्नॅपचॅटर्स ला My AI वापरण्याची परवानगी देण्यापूर्वी, आम्ही त्यांना एक ऑनबोर्डिंग मेसेज दाखवतो जो स्पष्ट करतो की My AI सह सर्व मेसेज तुम्ही हटवल्याशिवाय ते कायम राहतील. 
My AI सह या सुरुवातीच्या परस्पर संवादांचे पुनरावलोकन करण्यात सक्षम झाल्यामुळे कोणते गार्डरेल्स चांगले काम करत आहेत आणि कोणत्या मजबूत करणे आवश्यक आहे हे ओळखण्यात आम्हाला मदत झाली आहे. याचे मूल्यमापन करण्यात मदत करण्यासाठी, आम्ही My AI प्रश्नांची आणि प्रतिसादांची पुनरावलोकने चालवत आहोत ज्यात "अनुरूप नसलेली" भाषा आहे, ज्यात हिंसा, लैंगिक स्पष्ट शब्द, बेकायदेशीर ड्रग वापर, बाल लैंगिक शोषण, यांचा समावेश असलेला कोणताही मजकूर म्हणून आम्ही परिभाषित करतो. दमदाटी, द्वेषयुक्त भाषण, अपमानास्पद किंवा पक्षपाती विधाने, वर्णद्वेष, दुष्प्रचार किंवा कमी प्रतिनिधित्व केलेल्या गटांना दुर्लक्षित करणे. Snapchat वर कंटेंटच्या या सर्व श्रेणी स्पष्टपणे प्रतिबंधित आहेत.
आमच्या सर्वात अलीकडील विश्लेषणात असे आढळून आले की My AI च्या प्रतिसादांपैकी केवळ 0.01% प्रतिसाद गैर-अनुरूप मानले गेले. स्नॅपचॅटर्स प्रश्नांच्या प्रतिसादात अयोग्य शब्दांची पुनरावृत्ती करणाऱ्या My AI प्रतिसादांच्या सर्वात सामान्य नॉन-कन्फॉर्मिंगच्या उदाहरणांमध्ये समावेश होतो.
My AI सुधारण्यासाठी आम्ही या शिक्षणांचा वापर करत राहू. हा डेटा My AI चा गैरवापर मर्यादित करण्यासाठी नवीन प्रणाली तैनात करण्यात देखील मदत करेल. आम्ही आमच्या विद्यमान टूलसेटमध्ये ओपन AI चे मॉडरेशन तंत्रज्ञान जोडत आहोत, जे आम्हाला संभाव्य हानिकारक कंटेंटच्या तीव्रतेचे मूल्यांकन करण्यास अनुमती देईल आणि स्नॅपचॅटर्स ने सेवेचा गैरवापर केल्यास त्यांना My AI मधील प्रवेश तात्पुरते प्रतिबंधित करेल. 
वयानुसार अनुभव 
सुरक्षितता आणि वयाच्या योग्यतेला प्राधान्य देणारी उत्पादने आणि अनुभव डिझाइन करण्याची आमची जबाबदारी आम्ही गांभीर्याने घेतो. My AI लाँच केल्यापासून, स्नॅपचॅटरच्या वयाची पर्वा न करता, अनुचित स्नॅपचॅटर विनंत्यांना प्रतिसाद सुधारण्यासाठी आम्ही खूप काम केले आहे. My AI संभाषणे स्कॅन करण्‍यासाठी आम्‍ही प्रोअ‍ॅक्टिव्ह डिटेक्‍शन टूल्सचा वापर करतो आणि त्‍याच्‍या संभाषणात संभाव्‍य अनुरुप नसलेल्‍या मजकुरासाठी आणि कारवाई करतो.
स्नॅपचॅटर ची जन्मतारीख वापरून आम्ही My AI साठी नवीन वयाचा संकेत देखील लागू केला आहे, जेणेकरून संभाषणात स्नॅपचॅटर कधीही My AI ला त्यांचे वय सांगत नसले तरी, संभाषणात गुंतताना चॅटबॉट सातत्याने त्यांचे वय विचारात घेईल. 
कौटुंबिक केंद्रात My AI
Snapchat पालकांना आणि काळजीवाहूंना दृश्‍यमानता देते की त्यांची किशोरवयीन मुले कोणत्या मित्रांशी संवाद साधत आहेत आणि किती अलीकडे आमच्या इन-एप कौटुंबिक केंद्र द्वारे. येत्या काही आठवड्यांमध्ये, आम्ही पालकांना त्यांच्या किशोरवयीन मुलांच्या My AI सह परस्पर संवादाबद्दल अधिक अंतर्दृष्टी प्रदान करू. याचा अर्थ पालक त्यांची मुले My AI शी संवाद साधत आहेत की नाही आणि किती वेळा हे पाहण्यासाठी कौटुंबिक केंद्र वापरण्यास सक्षम असतील. कौटुंबिक केंद्र वापरण्यासाठी, पालक आणि मुले या दोघांनी निवड करणे आवश्यक आहे — आणि स्वारस्य असलेले कुटुंब साइन अप कसे करायचे याबद्दल अधिक जाणून घेऊ शकता इथे
आम्ही स्नॅपचॅटर्सना My AI कडून काही प्रतिसाद मिळाल्यास आमची इन-एप अहवाल टूल्स वापरण्यासाठी आणि उत्पादनाबाबतच्या त्यांच्या एकूण अनुभवांबद्दल आम्हाला अभिप्राय सादर करण्यास प्रोत्साहित करत आहोत. 
My AI सुधारण्यासाठी आम्ही सतत काम करत आहोत आणि आमची कम्युनिटी सुरक्षित ठेवण्यासाठी आम्ही सतत अतिरिक्त उपायांचे मूल्यांकन करू. My AI वरील सर्व सुरुवातीच्या अभिप्रायाची आम्ही प्रशंसा करतो आणि आम्ही आमच्या कम्युनिटीसाठी मजेदार आणि सुरक्षित अनुभव देण्यासाठी वचनबद्ध आहोत. 
बातम्यांकडे परत