6週間前、当社はOpenAIのGPTテクノロジーを搭載したチャットボット、My AIを展開しました。My AIをSnapchat+の加入者向けに提供することで徐々に展開し、1ヶ月ほどで多くのことを学びました。例えば、SnapchatのコミュニティメンバーがMy AIに尋ねた質問のうち、最も多かったトピックは、映画、スポーツ、ゲーム、ペット、数学などであることが分かっています。

また、悪用される可能性についても学びました。その多くは、チャットボットを騙し、当社のガイドラインに準拠しない回答を提供するように仕向けたユーザーから学んだものです。My AIの改善に向けた共同作業の一環として、My AIから学習したことを受けて当社が最近導入した安全性の強化に関するアップデート、ならびに実施予定の新たなツールについて、お知らせしたいと思います。

My AIのデータへの取り組み

プライバシーは常にSnapのミッションの中心となってきました。プライバシーがあれば、人々が友達や家族とコミュニケーションする際に、自由に自己表現できるようになります。当社は、Snapchat全体で、当社の製品がデータをどのように使用するか、そして当社がプライバシー・バイ・デザインのプロセスを使用して機能を構築する方法について、明確さとコンテキストをコミュニティに提供するように努めています。例えば、Snapchatでフレンド間の会話に関連するデータの取り扱いは、Snapchatでのコンテンツ発信に関連したデータの取り扱いとは異なります。コンテンツ発信に関するデータについては、多くのオーディエンスが対象となるため、当社はより高い基準を保持しており、節度ある内容であることを求めています。

しかし、My AIはチャットボットであり実際のフレンドではないため、関連するデータには意図的に異なる方法で対処しています。それは、会話履歴を利用して、My AIをより楽しく、便利に、安全なものへと構築し続けることができるからです。SnapchatユーザーにMy AIの使用を許可する前に、当社では、My AIを使用したすべてのメッセージは、ユーザーが削除しない限り保持されることを明確にした、オンボーディングメッセージを表示します。

このような初期段階におけるMy AIとのやりとりを確認できることは、どのガードレールがうまく機能しているか、どのガードレールを強化させるべきかを特定する上で役立ちました。これを評価するために、当社では、「不適合な」言葉を含むMy AIのクエリと回答の再吟味を実行しています。当社は、暴力、露骨な性的表現、違法薬物の使用、児童の性的虐待、いじめ、ヘイトスピーチ、名誉毀損、あるいは偏見的な発言、人種差別、ミソジニー、あるいは過小評価グループの疎外化などに言及する文章を、不適合な言葉として定義します。このようなカテゴリーに当てはまる内容はすべて、Snapchatでは明示的に禁止されています。

当社の最新の分析では、My AIの回答の0.01%だけが、不適合だと見なされたことがわかりました。よく見受けられた不適合なMy AIの回答例には、My AIがSnapchatユーザーからの質問に答えて不適切な言葉を繰り返すというものが含まれていました。

当社は、引き続きこのような教訓を生かし、My AIの改善に努めます。このデータは、当社がMy AIの不正使用を制限する新たなシステムを展開する上でも役立ちます。当社は、既存のツールセットにOpen AIのモデレーション技術を追加しています。これにより、潜在的に有害なコンテンツの重大度を評価し、Snapchatユーザーがこのサービスを不正使用した場合には、My AIへのアクセスを一時的に制限することができるようになります。

年齢に適した体験

当社は、安全性および年齢に相応であることを第一に考えた製品と体験をデザインする責任について、真剣に受け止めています。My AIの立ち上げ以来、当社はSnapchatユーザーの年齢にかかわらず、Snapchatユーザーからの不適切なリクエストへの対応を改善することに、積極的に取り組んできました。また、当社は積極的な検知ツールを使用してMy AIの会話を検閲し、不適合なテキストを探し、対策を講じます。

さらに、Snapchatユーザーの生年月日を活用して、My AIの新たな年齢シグナルの実施も開始しました。これにより、SnapchatユーザーがMy AIに年齢を伝えなくても、会話の際にチャットボットがユーザーの年齢を常に考慮に入れるようになります。

ファミリーセンターのMy AI

Snapchatでは、10代の子を持つ親や保護者に対し、子供達がフレンドのうち誰とコミュニケーションをとっているのか、そして最近コミュニケーションを取ったのはいつなのかについて、アプリ内のファミリーセンターを利用して可視性を提供しています。今後数週間以内には、10代の子供達が行うMy AIとのやり取りについて、保護者により詳細な情報を提供できるようになります。つまり、保護者はファミリーセンターを利用して、自分の10代の子供達がMy AIとコミュニケーションを取っているかどうか、頻度はどうかについての確認が可能になるということです。ファミリーセンターを使用するには、保護者と子供の両方がオプトインする必要があります。詳しい情報をご希望のご家族は、こちらで登録方法についてご覧いただけます。

当社は、SnapchatユーザーがMy AIから懸念すべき回答を受け取った場合、アプリ内の報告ツールを使用して、製品の全体的な利用体験について当社にフィードバックを送信することを、引き続き奨励しています。

当社は、My AI改善への取り組みを続けており、コミュニティの安全を保つための追加措置を継続的に検討していきます。My AIに関する初期段階のフィードバックすべてに感謝しております。当社は、楽しく安全な体験をコミュニティに提供することに全力を注いでいます。