بنیاد نظارت بر اینترنت (IWF)، یکی از مهم‌ترین نهادهای فعال در زمینه مبارزه با محتوای غیرقانونی در فضای مجازی، در گزارشی از افزایش چشمگیر تولید و انتشار تصاویر سوءاستفاده جنسی از کودکان توسط ابزارهای هوش مصنوعی خبر داده است.
به گفته این سازمان، میزان محتوای مجرمانه‌ای که در شش ماه اخیر شناسایی شده، از کل سال گذشته بیشتر است.
درک ری-هیل، مدیر اجرایی موقت بنیاد نظارت بر اینترنت، تأکید کرده است که سطح پیچیدگی این تصاویر نشان می‌دهد که ابزارهای هوش مصنوعی مورد استفاده، بر روی تصاویر و ویدئوهای قربانیان واقعی آموزش دیده‌اند. او در این باره گفت: «ماه‌های اخیر نشان داده‌اند که این مشکل نه فقط برطرف نشده، بلکه وخیم‌تر نیز شده است.»
این گزارش همچنین بیان می‌کند که تقریبا تمام محتوای شناسایی‌شده در بخش‌های عمومی اینترنت، و نه در دارک‌وب، یافت شده‌اند و دسترسی به آن‌ها بدون مرورگرهای خاص نیز امکان‌پذیر است. این وضعیت به نهادهای نظارتی و مقامات اجرایی بیشتر فشار می‌آورد تا با این پدیده مقابله کنند.
موارد دیگری که توسط این سازمان مستقر در بریتانیا گزارش شده، شامل ویدئوهای تولید شده با تکنیک «جعل عمیق» (دیپ‌فیک) است که در آن‌ها تصاویر پورنوگرافی بزرگسالان به نحوی دستکاری شده‌اند تا شبیه به تصاویر سوءاستفاده از کودکان جلوه کنند. نمونه‌های دیگر شامل تصاویر ساختگی از چهره‌های سرشناس است که به صورت کودکان در سناریوهای سوءاستفاده جنسی، به تصویر کشیده شده‌اند.
بیشتر در این باره: گزارش هشدار دربارهٔ هوش مصنوعی را چقدر باید جدی گرفت؟بیش از نیمی از این محتوا در سرورهای واقع در روسیه و ایالات متحده میزبانی می‌شود، و تعداد قابل‌توجهی نیز در سرورهای مستقر در ژاپن و هلند قرار داشتند. بنیاد نظارت بر اینترنت لیستی از لینک‌های حاوی این تصاویر را تهیه کرده تا با همکاری صنایع فناوری، دسترسی به آن‌ها مسدود و غیرممکن شود.
در پایان، این گزارش اشاره می‌کند که اکثر گزارش‌های تصاویر غیرقانونی تولید شده توسط هوش مصنوعی، از سوی عموم مردم و کاربران عادی اینترنت آمده است که آن‌ها را در سایت‌های عمومی مانند انجمن‌ها و گالری‌های هوش مصنوعی یافته‌اند.
اینستاگرام نیز اخیراً اعلام کرده است که اقدامات جدیدی برای مقابله با اخاذی جنسی انجام خواهد داد؛ روشی از اخاذی که در آن کلاهبرداران که معمولا خود را به عنوان زنان جوان جا می‌زنند، کاربران را فریب می‌دهند که تصاویر حساس خود را به آنان بفرستند و سپس از آنان با تهدید اخاذی می‌کنند.
اینستاگرام اعلام کرده است که در این ویژگی تازه، هرگونه تصویر برهنه‌ای که به کاربران در پیام‌های خصوصی فرستاده می‌شود را تار می‌کند و همچنین آنان را ترغیب می‌کند که در ارسال هر پیغامی که شامل تصویری برهنه است، محتاط باشند.
پس از دریافت تصویر، کاربر می‌تواند انتخاب کند که آیا می‌خواهد آن را ببیند یا خیر، و همچنین پیامی دریافت می‌کند که گزینهٔ مسدود کردن فرستنده و گزارش دادن چت را به آنان نشان می‌دهد.
این ویژگی از این هفته به طور پیش‌فرض برای حساب‌های نوجوانان در سراسر جهان فعال می‌شود و به صورت اختیاری نیز در اختیار بزرگسالان قرار خواهد گرفت.