Nhiều ứng dụng AI độc hại vượt qua kiểm duyệt để lên App Store và Google Play

Hàng trăm ứng dụng AI ẩn chứa các tính năng deepfake tình dục và bạo lực trá hình đã lọt vào App Store của Apple sau khi vượt qua quá trình kiểm duyệt ứng dụng. Các ứng dụng tương tự cũng xuất hiện trên Google Play Store.

Một cuộc điều tra đã phát hiện hơn 400 ứng dụng, dường như được tạo ra bởi một tổ chức duy nhất tại Trung Quốc. Các ứng dụng này cho phép người dùng tải lên hình ảnh và sau đó tạo ra các nội dung deepfake mang tính tình dục và bạo lực, có thể bị lợi dụng để làm nhục hoặc đe dọa các nạn nhân.

Một cuộc điều tra của Wired đã phát hiện ra một mạng lưới gồm hơn 400 tên miền và ứng dụng được kết nối với nhau có chức năng lạm dụng ẩn giấu.

Các ứng dụng như Viefur (với vỏ bọc là thêm quần áo vào ảnh thú cưng) thường tự nhận là các dịch vụ hàng ngày như gia sư ngôn ngữ hoặc huấn luyện viên thể hình AI. Tuy nhiên, khi được truy cập theo các điều kiện nhất định, các ứng dụng trong mạng lưới sẽ âm thầm tải một giao diện web cho phép tạo ra các hình ảnh và video AI khiêu dâm rõ ràng bằng cách sử dụng ảnh do người dùng tải lên. Các ứng dụng này bao gồm các cảnh AI như "hiếp dâm trong phòng ngủ" và "đe dọa bằng dao", trong đó một người đàn ông cầm dao kề vào cổ một người phụ nữ.

Wired cho biết mạng lưới này đang "ẩn mình ngay giữa ban ngày", nhờ hàng nghìn video quảng cáo cho chúng được xuất bản trên Facebook và Instagram. Một số ứng dụng đã tồn tại được một năm và đã vượt qua quá trình kiểm duyệt của Apple, Google và Meta mặc dù mỗi công ty đều có các chính sách rõ ràng cấm nội dung deepfake có hại.

Các chiến thuật đánh tráo khái niệm đã được sử dụng để vượt qua quá trình kiểm duyệt ứng dụng. Các ứng dụng này thường hiển thị nội dung lành mạnh, nhưng việc kiểm tra máy chủ có thể kích hoạt các tính năng ẩn. Tải xuống ứng dụng sau khi nhấp vào quảng cáo về tính năng deepfake trên các nền tảng của Meta dường như là một trong những cách kích hoạt. Hàng chục mẫu ảnh và videoêu dâm sau đó có thể được tải xuống, kèm theo việc mua tín dụng để tạo deepfake từ ảnh do người dùng tải lên.

Apple đã xóa 19 ứng dụng sau khi Wired chia sẻ chi tiết.

Chúng tôi xem xét mọi ứng dụng trước khi phát hành và các ứng dụng này tuân thủ các quy tắc của chúng tôi khi chúng tôi xem xét chúng. Sau khi được phê duyệt, các nhà phát triển của họ đã thay đổi trang web mà ứng dụng lấy nội dung từ đó, thay thế nội dung chúng tôi đã phê duyệt bằng nội dung khiêu dâm và quảng bá nó thông qua các quảng cáo khiêu dâm được lưu trữ trên nền tảng của bên thứ ba.

Công ty gần đây đã tăng cường các biện pháp bảo vệ chống lại cách tiếp cận này. Meta cho biết họ đã hành động chống lại hơn 10.000 tài khoản quảng cáo liên kết với các tên miền liên quan đến các ứng dụng này.