최근 수년 동안 급증한 AI 도구는 앞으로도 그 성장세를 지속하며 창작, 학습 및 연결 분야에서 새로운 기회를 창출할 것입니다. 그러나 이 기술로 인해 온라인 환경 상의 위험이 가중되는 부작용도 발생했습니다. 새로운 연구에 따르면 온라인 환경에서 AI로 생성한 성적 이미지나 동영상 등의 콘텐츠 노출 사례가 증가하는 추세이며, 이에 따라 일부 콘텐츠의 불법성에 대한 인식을 제고하는 것이 여전히 큰 과제로 남아 있습니다.

Snap은 모든 플랫폼과 서비스에서 청소년 및 청년층의 이용 태도 및 행동을 보다 심도 있게 이해하기 위해 매년 업계 전체를 대상으로 디지털 웰빙 지수를 연구하고 결과를 공유합니다.  (본 연구는 Snap이 의뢰했으나 Snapchat에 특별히 한정되지 않은 다양한 디지털 공간 전반에서 Z세대의 경험을 다룹니다.)  3년차 연구 결과 전체를 2025년 2월 국제 안전한 인터넷의 날에 공개할 예정이나, 생성형 AI 기반 성적 콘텐츠에 대한 청소년과 청년층, 학부모의 반응 및 참여 방식에 대한 몇 가지 주요 결과를 미리 공유하고자 합니다. 이번 주 아동 대상 성착취 및 학대에 대한 전 세계의 관심이 집중되고 있는 상황에서, AI로 생성된 성적 콘텐츠의 해악에 대응하고자 개최된 Empowering Voices DC 정상회의 참여와 연계하여 오늘 이를 진행합니다. 

예를 들어, 6개국 9,007명의 청소년, 청년 및 학부모를 대상으로 한 연구에서 ¹응답자의 24%가 성적인 AI 생성 이미지 또는 동영상을 목격한 경험이 있다고 밝혔으며, 이러한 콘텐츠 시청 경험이 있다고 답한 응답자 중 2%만이 해당 이미지가 18세 미만의 인물을 대상으로 한 것이라고 말했습니다.

한 가지 다행스러운 것은, 이러한 콘텐츠 발견 시 10명 중 9명은 콘텐츠를 차단 또는 삭제(54%)하거나, 신뢰할 수 있는 친구나 가족에게 상담(52%)하는 등의 조치를 취했다는 점입니다. 그러나 이들 중 콘텐츠를 목격한 플랫폼 또는 서비스, 핫라인/전화 상담 센터에 신고한 비율은 42%에 그쳤습니다. 이러한 인사이트를 통해 디지털 안전 관련 문제에 대한 전반적인 신고율이 감소하고 있다는 더 큰 추세를 발견할 수 있습니다. 이전 게시물에서 청소년들이 특정 문제가 있는 콘텐츠에 노출되는 것을 정상 상태로 취급하거나 신고를 단순한 고자질로 처리하지 않도록 신고에 대한 부정적인 인식을 바로잡는 것이 중요하다고 지적한 바 있습니다. 

더욱 우려스러운 점은 응답자의 40% 이상이 미성년자의 성적 이미지가 장난이나 밈으로 의도적으로 제작된 경우에도 플랫폼/서비스에서 이를 신고할 법적 의무가 있다는 사실을 명확히 인지하지 못했다는 사실입니다. 응답자 중 70% 이상이 AI 기술을 사용하여 개인의 성적 콘텐츠를 허위로 생성하거나 미성년자의 성적 이미지를 보유, 조회, 공유하는 행위가 불법이라는 점은 인지하고 있으나, 대중을 대상으로 이러한 콘텐츠와 관련된 법적 요건 인식을 제고하려면 상당한 노력이 필요함을 알 수 있습니다.

일례로 미국에서는 응답자의 약 40%가 AI 기술을 사용하여 성적 이미지를 허위로 생성하는 것을 합법적 행위로 간주한다고 응답했습니다. 저희는 또한 업계 동료들을 통해 우려스러운 소식을 접한 바 있습니다. 이러한 유형의 콘텐츠가 확산되면서 일부 여성 청소년들은 또래 집단이 부적절하게 생성하고 공유하는 AI 조작 성적 이미지에 자신이 등장하지 않으면 '소외감'을 느낀다는 사실입니다. 이러한 충격적인 사실을 통해 도출할 수 있는 결론은 신뢰할 수 있는 성인과 정보력을 갖춘 또래 집단에서 이 같은 행동을 적극적으로 억제하는 역할을 해야 하며, 이러한 특정 온라인 위험에 대한 교육과 인식 확산이 필요하다는 사실입니다.

Snap의 지속적인 약속

Snap은 Snapchat 및 기술 생태계 전반에서 안전하고 건강하며 긍정적인 경험을 조성하기 위해 리소스, 도구, 기술에 지속적으로 투자고 있습니다.

경우에 따라서는 행동적 '신호'를 사용하여 잠재적인 불법 활동을 식별하며, 이를 통해 악의적인 행위자를 선제적으로 제거하고 당국에 신고할 수 있습니다. 또한 대화형 AI 챗봇이 제공되는 서비스인 Snapchat에서 그러한 자료의 생성 가능성을 억제하고, 다른 플랫폼에서 생성되었을 수 있는 자료의 공유 및 배포를 차단하기 위해서도 각별히 주의를 기울이고 있습니다. AI를 통해 생성된 것으로 의심되는 미성년자의 성적 이미지를 '실제' 아동 성착취 및 학대 이미지(CSEAI)와 동일하게 취급하며 해당 사실을 인지하는 즉시 콘텐츠를 삭제하고, 이를 게시한 계정을 정지하며, 미국 국립 아동 실종 및 학대 방지 센터(NCMEC)에 신고합니다. 나아가 이미 유통된 불법 이미지의 복제본을 탐지하는 PhotoDNA, 불법 동영상의 복제본을 탐지하는 Google의 CSAI Match 등의 CSEAI 확산 방지 기술 또한 활용 및 배포하고 있습니다. 또한 근래에 Google의 Content Safety API를 활용하기 시작했으며, 이는 공개 콘텐츠에서 '사전에 해시 처리되지 않은' 새로운 이미지를 탐지하는 데 도움이 됩니다. 또한 NCMEC와의 협력을 통해 작년 한 해 동안 GenAI와 관련된 아동 성착취 자료 신고 4,700건에서 수신한 고유 디지털 서명(또는 '해시')의 활용 방안을 논의하고 있습니다. 

법 집행 기관과 협력하여 조사를 지원하고, 커뮤니티의 안전을 위해 연중무휴 운영되는 글로벌 신뢰 및 안전팀과 법 집행 운영팀에 대규모로 투자하고 있으며, 미국에서 매년 법 집행 기관을 대상으로 한 연례 회의를 주최하여 담당 경찰관 및 기관들이 플랫폼에서 발생할 수 있는 불법 행위에 대해 적절한 조치를 취할 수 있는 방법을 알 수 있도록 지원하고 있습니다.

저희는 또한 커뮤니티가 나체 및 성적 콘텐츠, 특히 CSEAI를 신고할 수 있는 옵션을 비롯해 인앱 신고 도구를 계속해서 확장하고 있습니다. 문제성 콘텐츠 및 계정을 신고하면 테크 기업이 악의적 행위자를 서비스에서 제거하고 다른 사용자에게 잠재적인 피해가 발생하기 전에 그들의 활동을 저지하는 데 도움이 됩니다. 

최근에는 학부모가 10대 자녀의 Snapchat 이용 방식을 이해하는 데 도움이 되는 패밀리 센터 도구 모음에 AI 챗봇 등의 새로운 기능을 추가했습니다. 또한 학생들이 Snapchat을 사용하는 방식을 교사 및 학교 관계자들이 이해하고, 학생들을 위한 안전하고 지지적인 환경을 조성하기 위해 학교가 어떤 노력을 해야 하는지 파악하는 데 도움이 되는 새로운 리소스를 공개했습니다.

또한, 온라인 성적 피해에 대한 대중 및 Snapchat 사용자 인식 제고를 위해 지속적으로 투자하고 있습니다. 앱 내 'Safety Snapshot' 에피소드는 아동 대상 온라인 그루밍 및 인신매매 등의 주제를 비롯한 성적인 위험을 중점적으로 다룹니다. 또한 청소년, 학부모, 신뢰할 수 있는 어른, 정책 입안자를 대상으로 온라인 아동 성적 학대에 대한 교육 및 역량 강화를 중심으로 한 미국 국토안보부 캠페인인 Know2Protect를 최초로 지원한 기업이기도 합니다. 

이러한 사회 전반의 문제를 해결할 수 있도록 학부모, 청소년, 교육자, 정책 입안자 등 다양한 이해관계자들과의 협력하에 지속적으로 노력할 것이며, 교차 플랫폼 연구로 확보한 인사이트를 통해 기존 및 새로운 온라인 위협에 대한 인식을 제고하고 그러한 위험에 대응할 리소스를 마련하는 새로운 아이디어와 기회를 창출할 수 있기를 바랍니다. 

— Viraj Doshi, 플랫폼 안전 책임자