Enam minggu lalu, kami meluncurkan My AI, sebuah chatbot yang dirancang dengan teknologi GPT OpenAI. Kami memulai secara perlahan dengan memberikan My AI kepada pelanggan Snapchat+ dan, dalam waktu satu bulan lebih, kami telah banyak belajar. Misalnya, kami mengetahui beberapa topik paling umum yang ditanyakan kepada My AI mencakup film, olahraga, game, hewan peliharaan, dan matematika.

Kamu juga telah mempelajari beberapa potensi penyalahgunaan, banyak di antaranya kami pelajari dari mereka yang mencoba menipu chatbot untuk memberikan tanggapan yang tidak sesuai dengan panduan kami. Sebagai bagian dari kerja sama untuk meningkatkan My AI, kami ingin membagikan pembaruan tentang beberapa peningkatan keselamatan yang kami terapkan baru-baru ini sebagai hasil dari pembelajaran kami — bersama dengan alat baru yang kami rencanakan untuk diimplementasikan. 

Privasi selalu menjadi hal sentral untuk misi Snap — privasi membantu orang merasa lebih nyaman mengekspresikan diri mereka ketika berkomunikasi dengan teman dan keluarga. Di seluruh Snapchat, kami mencoba untuk memberikan komunitas kami kejelasan dan konteks tentang bagaimana produk menggunakan data dan bagaimana kami merancang fitur menggunakan proses privasi sesuai desain. Misalnya, cara kami mengelola data terkait dengan percakapan antarteman di Snapchat berbeda dengan cara kami mengelola data terkait dengan konten siaran di Snapchat, di mana kami memiliki standar yang lebih tinggi dan perlu untuk dimoderasi karena siaran menjangkau pemirsa yang lebih luas. 

Namun, karena My AI adalah chatbot dan bukan teman nyata, kami dengan sengaja mengelola data terkait secara berbeda, karena kami dapat menggunakan riwayat percakapan untuk terus membuat My AI lebih menyenangkan, bermanfaat, dan lebih aman. Sebelum Snapchatter diizinkan untuk menggunakan My AI, kami memperlihatkan kepada mereka pesan orientasi yang menjelaskan bahwa semua pesan dengan My AI tidak akan dihapus kecuali Anda menghapusnya. 

Dapat meninjau interaksi awal ini dengan My AI telah membantu kami mengidentifikasi pembatasan apa yang bekerja dengan baik dan pembatasan apa yang perlu untuk diperkuat. Untuk membantu menilai hal ini, kami telah menjalankan tinjauan pertanyaan dan tanggapan My AI yang mengandung bahasa yang “tidak sesuai”, yang kami definisikan sebagai teks apa pun yang mencakup referensi terhadap kekerasan, istilah eksplisit secara seksual, penyalahgunaan obat-obatan ilegal, tindak kekerasan seksual anak, penindasan, ujaran kebencian, pernyataan menyimpang atau menghina, rasisme, kebencian terhadap perempuan, atau menyisihkan kelompok yang kurang terwakili. Semua kategori konten tersebut secara eksplisit dilarang di Snapchat.

Analisis terbaru kami menemukan bahwa hanya 0,01% tanggapan My AI dianggap tidak sesuai. Contoh respons paling umum My AI yang tidak sesuai mencakup My AI yang mengulangi kata-kata yang tidak pantas dalam menjawab pertanyaan dari Snapchatter.

Kami akan terus menggunakan pembelajaran ini untuk menyempurnakan My AI. Data ini juga akan membantu kami menerapkan sistem baru untuk membatasi penyalahgunaan My AI. Kami menambahkan teknologi moderasi Open AI ke koleksi perangkat kami yang ada, yang akan memungkinkan kami untuk menilai potensi tingkat keparahan konten dan untuk sementara membatasi akses Snapchatter ke My AI jika mereka menyalahgunakan layanan tersebut. 

Kami menganggap serius tanggung jawab kami untuk merancang produk dan pengalaman yang memprioritaskan keselamatan dan kesesuaian usia. Sejak meluncurkan My AI, kami telah bekerja keras untuk menyempurnakan respons My AI terhadap permintaan Snapchatter yang tidak pantas, berapa pun usia Snapchatter. Kami juga menggunakan alat deteksi proaktif guna memindai percakapan My AI untuk teks yang berpotensi tidak sesuai dan mengambil tindakan.

Kami juga telah menerapkan sinyal usia baru untuk My AI dengan menggunakan tanggal lahir Snapchatter, sehingga bahkan jika Snapchatter tidak pernah menyampaikan usia mereka kepada My AI dalam percakapan, chatbot akan secara konsisten mempertimbangkan usia mereka saat terlibat dalam percakapan. 

Snapchat menawarkan orang tua dan pengasuh visibilitas untuk teman mana yang berkomunikasi dengan anak remaja mereka, dan berapa lama komunikasi tersebut, melalui Pusat Keluarga dalam aplikasi kami. Dalam beberapa minggu mendatang, kami akan memberikan orang tua wawasan lebih banyak tentang interaksi anak remaja mereka dengan My AI. Artinya, orang tua akan dapat menggunakan Pusat Keluarga untuk melihat apakah anak remaja mereka berkomunikasi dengan My AI, dan seberapa sering. Untuk menggunakan Pusat Keluarga, orang tua dan remaja perlu untuk ikut serta — dan keluarga yang berminat dapat mempelajari lebih lanjut tentang cara untuk mendaftar di sini. 

Kami terus mendorong Snapchatter untuk menggunakan alat pelaporan dalam aplikasi kami jika mereka menerima tanggapan apa pun yang mengkhawatirkan dari My AI dan untuk mengirimkan umpan balik kepada kami tentang pengalaman keseluruhan mereka dengan produk tersebut. 

Kami terus berupaya untuk menyempurnakan My AI, dan kami akan terus mengevaluasi langkah-langkah lain untuk membantu menjaga komunitas kami tetap aman. Kami menghargai semua umpan balik awal tentang My AI, dan kami berkomitmen untuk memberikan pengalaman yang menyenangkan dan aman bagi komunitas kami.