لا تزال إساءة استخدام الذكاء الاصطناعي تتجاوز الحدود الأخلاقية والقانونية مع كون أحد أكثر مظاهره إثارة للقلق هو المواد والصور والفيديوهات المزيفة.
لمواجهة هذا التهديد المتزايد أقرت بلدان قوانين تجرم نشر صور مزيفة بما في ذلك محتوى التزييف العميق الذي تم إنشاؤه بواسطة الذكاء الاصطناعي أصبح إنشاء صور إباحية مزيفة عميقة أمرًا سهلاً بشكل مثير للقلق مع توفر أكثر من مائة موقع ويب وبرامج وتطبيقات عبر الإنترنت وتسمح هذه الأدوات حتى للمستخدمين ذوي المهارات الفنية البسيطة بإنشاء صور مزيفة عميقة في عام 2024 احتلت المواد المزيفة مركز الصدارة بعد انتشار صور وفيديوهات معدلة لمشاهير كالنار في الهشيم على وسائل التواصل الاجتماعي.