X d’Elon Musk a bloqué les recherches sur Taylor Swift après que des images sexuellement explicites de la pop star créées à l’aide de l’intelligence artificielle se soient largement répandues sur la plateforme.
Cet incident est le dernier exemple en date de la façon dont les groupes de médias sociaux s’efforcent de lutter contre ce que l’on appelle les deepfakes : des images et des sons réalistes, générés à l’aide de l’IA, qui peuvent être utilisés à mauvais escient pour représenter des personnalités éminentes dans des situations compromettantes ou trompeuses sans leur consentement.
Toute recherche de termes tels que « Taylor Swift » ou « Taylor AI » sur X a renvoyé un message d’erreur pendant plusieurs heures au cours du week-end, après la prolifération en ligne d’images pornographiques du chanteur générées par l’IA ces derniers jours. Ce changement signifie que même le contenu légitime sur l’une des stars les plus populaires au monde est plus difficile à visualiser sur le site.
« Il s’agit d’une action temporaire et réalisée avec beaucoup de prudence alors que nous accordons la priorité à la sécurité sur ce problème », a déclaré Joe Benarroch, responsable des opérations commerciales chez X.
Swift n’a pas commenté publiquement la question.
X a été acheté pour 44 milliards de dollars en octobre 2022 par l’entrepreneur milliardaire Musk, qui a réduit les ressources consacrées au contrôle du contenu et assoupli ses politiques de modération, citant ses idéaux de liberté d’expression.
Son utilisation du mécanisme de modération brutal ce week-end intervient alors que X et ses rivaux Meta, TikTok et YouTube de Google font face à une pression croissante pour lutter contre les abus d’une technologie de deepfake de plus en plus réaliste et facile d’accès. Un marché dynamique d’outils a émergé qui permet à quiconque d’utiliser l’IA générative pour créer une vidéo ou une image à l’effigie d’une célébrité ou d’un homme politique en quelques clics.
Bien que la technologie deepfake soit disponible depuis plusieurs années, les progrès récents de l’IA générative ont rendu les images plus faciles à créer et plus réalistes. Les experts avertissent que les fausses images pornographiques constituent l’un des abus les plus courants de la technologie deepfake, et soulignent également leur utilisation croissante dans les campagnes de désinformation politique au cours d’une année d’élections dans le monde.
En réponse à une question sur les images Swift vendredi, la secrétaire de presse de la Maison Blanche, Karine Jean-Pierre, a déclaré que la circulation des fausses images était « alarmante », ajoutant : « Alors que les sociétés de médias sociaux prennent leurs propres décisions indépendantes en matière de gestion de contenu, nous pensons ils ont un rôle important à jouer dans le respect de leurs propres règles. Elle a exhorté le Congrès à légiférer sur la question.
Mercredi, des responsables des médias sociaux, dont Linda Yaccarino de X, Mark Zuckerberg de Meta et Shou Zi Chew de TikTok, seront interrogés lors d’une audience du comité judiciaire du Sénat américain sur l’exploitation sexuelle des enfants en ligne, suite aux inquiétudes croissantes selon lesquelles leurs plateformes n’en font pas assez pour protéger les enfants.
Vendredi, le compte officiel de sécurité de X a déclaré dans un communiqué déclaration que la publication d’« images de nudité non consensuelle (NCN) » était « strictement interdite » sur la plateforme, qui applique une « politique de tolérance zéro à l’égard de tels contenus ».
Il ajoute : « Nos équipes suppriment activement toutes les images identifiées et prennent les mesures appropriées contre les comptes responsables de leur publication. Nous surveillons de près la situation pour garantir que toute nouvelle violation soit immédiatement corrigée et que le contenu soit supprimé.
Cependant, les ressources épuisées de modération de contenu de X n’ont pas pu empêcher les fausses images Swift d’être vues des millions de fois avant leur suppression, obligeant l’entreprise à recourir au blocage des recherches sur l’une des plus grandes stars du monde.
Un rapport du site d’information technologique 404 Media a révélé que les images semblaient provenir du babillard anonyme 4chan et d’un groupe sur l’application de messagerie Telegram, dédiée au partage d’images abusives de femmes générées par l’IA, souvent réalisées avec un outil Microsoft. Telegram et Microsoft n’ont pas immédiatement répondu aux demandes de commentaires.