Πρώιμα μαθήματα My AI και νέες βελτιώσεις ασφάλειας

4 Απριλίου 2023

Πριν από έξι εβδομάδες, παρουσιάσαμε το My AI, ένα chatbot που δημιουργήθηκε με την τεχνολογία GPT του OpenAI. Ξεκινήσαμε σιγά σιγά παρέχοντας το My AI στους συνδρομητές του Snapchat+ και σε περισσότερο από έναν μήνα, μάθαμε πολλά. Για παράδειγμα, γνωρίζουμε μερικά από τα πιο κοινά θέματα για τα οποία η κοινότητά μας έχει ζητήσει να μάθει από το My AI, όπως ταινίες, αθλήματα, παιχνίδια, κατοικίδια και μαθηματικά.
Μάθαμε επίσης για ορισμένες από τις πιθανότητες κακής χρήσης, πολλές από τις οποίες από άτομα που προσπαθούσαν να ξεγελάσουν το chatbot ώστε να παρέχει απαντήσεις που δεν συμμορφώνονται με τις οδηγίες μας. Ως μέρος της κοινής μας δουλειάς για τη βελτίωση του My AI, θέλουμε να μοιραστούμε μια ενημέρωση σχετικά με ορισμένες από τις βελτιώσεις ασφάλειας που εφαρμόσαμε πρόσφατα ως αποτέλεσμα των όσων μάθαμε — μαζί με νέα εργαλεία που σκοπεύουμε να εφαρμόσουμε.
Η προσέγγιση του My AI στα Δεδομένα 
Το απόρρητο ήταν πάντα στο επίκεντρο της αποστολής της Snap — βοηθά τους ανθρώπους να αισθάνονται πιο άνετα να εκφράζονται όταν επικοινωνούν με τους φίλους και την οικογένειά τους. Στο Snapchat, προσπαθούμε να παρέχουμε στην κοινότητά μας σαφήνεια και πλαίσιο σχετικά με τον τρόπο με τον οποίο τα προϊόντα μας χρησιμοποιούν δεδομένα και πώς δημιουργούμε λειτουργίες χρησιμοποιώντας privacy-by-designδιαδικασίες. Για παράδειγμα, ο τρόπος με τον οποίο χειριζόμαστε δεδομένα που σχετίζονται με συνομιλίες μεταξύ φίλων στο Snapchat είναι διαφορετικός από τον τρόπο με τον οποίο χειριζόμαστε δεδομένα που σχετίζονται με περιεχόμενο εκπομπής στο Snapchat, το οποίο διατηρούμε σε υψηλότερα πρότυπα και απαιτούμε να εποπτεύεται επειδή προσεγγίζει μεγάλο κοινό.
Ωστόσο, το My AI είναι ένα chatbot και όχι ένας πραγματικός φίλος. Για αυτό σκοπεύουμε να χειριστούμε διαφορετικά τα σχετικά δεδομένα, επειδή μπορούμε να χρησιμοποιήσουμε το ιστορικό συνομιλιών για να συνεχίσουμε να κάνουμε το My AI πιο διασκεδαστικό, χρήσιμο και ασφαλέστερο. Προτού επιτραπεί στους χρήστες του Snapchat να χρησιμοποιήσουν το My AI, τους δείχνουμε ένα μήνυμα ενσωμάτωσης που καθιστά σαφές ότι όλα τα μηνύματα με το My AI θα διατηρηθούν εκτός εάν τα διαγράψετε.
Η δυνατότητα ελέγχου αυτών των πρώιμων αλληλεπιδράσεων με το My AI μας βοήθησε να προσδιορίσουμε ποια "προστατευτικά κιγκλιδώματα" λειτουργούν καλά και ποια πρέπει να ενισχυθούν. Για να βοηθήσουμε στην αξιολόγηση αυτού, πραγματοποιήσαμε ελέγχους των ερωτημάτων και των απαντήσεων του My AI που περιέχουν "μη συμμορφούμενη" γλώσσα, την οποία ορίζουμε ως οποιοδήποτε κείμενο που περιλαμβάνει αναφορές σε βία, σεξουαλικούς όρους, παράνομη χρήση ναρκωτικών, σεξουαλική κακοποίηση παιδιών, εκφοβισμό, ρητορική μίσους, υποτιμητικές ή μεροληπτικές δηλώσεις, ρατσισμό, μισογυνισμό ή περιθωριοποίηση υποεκπροσωπούμενων ομάδων. Όλες αυτές οι κατηγορίες περιεχομένου απαγορεύονται ρητά στο Snapchat.
Η πιο πρόσφατη ανάλυσή μας διαπίστωσε ότι μόνο το 0.01% των απαντήσεων του My AI κρίθηκαν μη συμμορφούμενες. Παραδείγματα των πιο συνηθισμένων μη συμμορφούμενων απαντήσεων στο My AI περιελάμβαναν την επανάληψη ακατάλληλων λέξεων ως απάντηση στις ερωτήσεις των χρηστών του Snapchat.
Θα συνεχίσουμε να χρησιμοποιούμε όσα μάθαμε για να βελτιώσουμε το My AI. Αυτά τα δεδομένα θα μας βοηθήσουν επίσης να αναπτύξουμε ένα νέο σύστημα για τον περιορισμό της κακής χρήσης του My AI. Προσθέτουμε την τεχνολογία εποπτείας του Open AI στο υπάρχον σύνολο εργαλείων μας, που θα μας επιτρέψει να αξιολογήσουμε τη σοβαρότητα του δυνητικά επιβλαβούς περιεχομένου και να περιορίσουμε προσωρινά την πρόσβαση των χρηστών του Snapchat στο My AI εάν κάνουν κακή χρήση της υπηρεσίας.
Προσαρμοσμένες εμπειρίες ανά ηλικία 
Παίρνουμε σοβαρά την ευθύνη μας να σχεδιάζουμε προϊόντα και εμπειρίες που δίνουν προτεραιότητα στην ασφάλεια και την ηλικιακή καταλληλότητα. Από την έναρξη κυκλοφορίας του My AI, έχουμε εργαστεί δυναμικά για να βελτιώσουμε τις απαντήσεις του σε ακατάλληλα αιτήματα χρηστών του Snapchat, ανεξάρτητα από την ηλικία τους. Χρησιμοποιούμε επίσης προληπτικά εργαλεία ανίχνευσης για να σαρώσουμε τις συνομιλίες My AI για πιθανώς μη συμμορφούμενο κείμενο και να αναλάβουμε δράση.
Έχουμε επίσης εφαρμόσει ένα νέο σήμα ηλικίας για το My AI χρησιμοποιώντας την ημερομηνία γέννησης ενός χρήστη του Snapchat, έτσι ώστε ακόμα κι αν ένας χρήστης του Snapchat δεν πει ποτέ στο My AI την ηλικία του σε μια συνομιλία, το chatbot θα λαμβάνει με συνέπεια υπόψη την ηλικία του όταν συμμετέχει σε συνομιλία.
Το My AI στο Κέντρο οικογένειας
Το Snapchat προσφέρει στους γονείς και τους φροντιστές τη δυνατότητα να γνωρίζουν με ποιους φίλους επικοινωνούν οι έφηβοί τους και πόσο πρόσφατα, μέσω του Κέντρου οικογένειας εντός της εφαρμογής. Τις επόμενες εβδομάδες, θα παρέχουμε στους γονείς περισσότερες πληροφορίες για τις αλληλεπιδράσεις των εφήβων τους με το My AI. Αυτό σημαίνει ότι οι γονείς θα μπορούν να χρησιμοποιούν το Κέντροι οικογένειας για να δουν εάν οι έφηβοί τους επικοινωνούν με το My AI και πόσο συχνά. Για να χρησιμοποιήσουν το Κέντρο οικογένειας, τόσο ένας γονέας όσο και ένας έφηβος πρέπει να επιλέξουν να συμμετάσχουν — και οι ενδιαφερόμενες οικογένειες μπορούν να μάθουν περισσότερα σχετικά με τον τρόπο εγγραφής εδώ
Συνεχίζουμε να ενθαρρύνουμε τους χρήστες του Snapchat να χρησιμοποιούν τα εργαλεία αναφοράς εντός εφαρμογής, εάν λαμβάνουν ανησυχητικές απαντήσεις από το My AI και να μας υποβάλλουν σχόλια σχετικά με τις συνολικές εμπειρίες τους με το προϊόν.
Εργαζόμαστε συνεχώς για τη βελτίωση του My AI και θα αξιολογούμε συνεχώς πρόσθετα μέτρα για να διατηρούμε την κοινότητά μας ασφαλή. Εκτιμούμε όλα τα πρώιμα σχόλια σχετικά με το My AI και δεσμευόμαστε να παρέχουμε μια διασκεδαστική και ασφαλή εμπειρία για την κοινότητά μας.
Επιστροφή στα νέα