Openai le vendredi révélé qu’il a interdit un ensemble de comptes qui ont utilisé son outil Chatgpt pour développer un outil de surveillance présumé de l’intelligence artificielle (IA).
L’outil d’écoute des médias sociaux proviendrait probablement de la Chine et est alimenté par l’un des méta- Modèles de lamaavec les comptes en question utilisant les modèles de la société d’IA pour générer des descriptions détaillées et analyser des documents pour un appareil capable de collecter des données en temps réel et des rapports sur les manifestations anti-chine en Occident et le partage des idées avec les autorités chinoises.
La campagne a été nommée par le nom de parasites en raison du «comportement du réseau dans la promotion et la révision des outils de surveillance», ont noté les chercheurs Ben Nimmo, Albert Zhang, Matthew Richard et Nathaniel Hartley, ajoutant que l’outil est conçu pour ingérer et analyser les publications et les commentaires des plateformes à partir de plateformes comme X, Facebook, YouTube, Instagram, Telegram et Reddit.
Dans un cas, signalé par la société, les acteurs ont utilisé Chatgpt pour déboguer et modifier le code source qui pourrait exécuter le logiciel de surveillance, appelé “Qianyue Overseas Public Opinion AI Assistant”.
En plus d’utiliser son modèle comme outil de recherche pour faire surface d’informations accessibles au public sur les groupes de réflexion aux États-Unis, et les représentants du gouvernement et les politiciens dans des pays comme l’Australie, le Cambodge et les États-Unis, le cluster s’est également avéré tirer parti de l’accès à la lecture à la lecture, Traduire et analyser les captures d’écran des documents en anglais.
Certaines des images étaient des annonces de manifestations des droits des auteurs ouïghour dans diverses villes occidentales et ont probablement été copiées à partir des médias sociaux. On ne sait actuellement pas si ces images étaient authentiques.
Openai a également déclaré avoir perturbé plusieurs autres grappes qui avaient été trouvées abusant de chatpt pour diverses activités malveillantes –
- Schéma d’emploi trompeur – Un réseau de Corée du Nord lié au programme frauduleux des travailleurs informatiques qui a été impliqué dans la création de documents personnels pour les candidats fictifs, tels que des curriculum vitae, des profils d’emploi en ligne et des lettres de motivation, ainsi que des réponses convaincantes pour expliquer des comportements inhabituels comme Éviter les appels vidéo, accéder aux systèmes d’entreprise à partir de pays non autorisés ou travailler des heures irrégulières. Certaines des candidatures de fausses demandes d’emploi ont ensuite été partagées sur LinkedIn.
- Mécontentement parrainé – Un réseau probablement d’origine chinoise impliquée dans la création du contenu des médias sociaux dans des articles anglais et longs en espagnol qui ont critiqué les États-Unis, puis publiés par des sites de nouvelles en Amérique latine au Pérou, au Mexique et en Équateur. Une partie de l’activité chevauche un cluster d’activités connu surnommée spamouflage.
- Arnaque d’appâtage de romance – Un réseau de comptes impliqués dans la traduction et la génération de commentaires en japonais, chinois et en anglais pour publier sur les plateformes de médias sociaux, notamment Facebook, X et Instagram dans le cadre des escroqueries présumées du Cambodge-Origin et de l’investissement.
- Influence iranienne Nexus – Un réseau de cinq comptes impliqués dans la génération de x articles et articles pro-palestiniens, pro-hamas et pro-iran, et anti-israéliens et anti-us, et partagé sur des sites Web associés à une influence iranienne Les opérations ont suivi l’Union internationale des médias virtuels (IUVM) et Storm-2035. L’un des comptes interdits a été utilisé pour créer du contenu pour les deux opérations, indiquant une «relation précédemment non déclaré».
- Kimsuky et Bluenoroff – Un réseau de comptes exploité par des acteurs de la menace nord-coréenne qui a participé à la collecte d’informations liées aux outils de cyber-intrusion et aux sujets liés à la crypto-monnaie, et au code de débogage pour les attaques de forces brutales du protocole de bureau à distance (RDP)
- Opération d’influence secrète de l’initiative des jeunes – Un réseau de comptes impliqués dans la création d’articles de langue anglaise pour un site Web intitulé “Empowering Ghana” et les commentaires sur les réseaux sociaux ciblant l’élection présidentielle du Ghana
- Arnaque de tâche – Un réseau de comptes provenant probablement du Cambodge qui a été impliqué dans la traduction de commentaires entre l’ourdou et l’anglais dans le cadre d’un arnaque qui attire des personnes sans méfiance dans des emplois effectuant des tâches simples (par exemple, aimer les vidéos ou rédiger des critiques) en échange de gagner une commission inexistante, accédant qui oblige les victimes à se séparer de leur propre argent.
Le développement survient alors que les outils d’IA sont de plus en plus utilisés par les mauvais acteurs pour faciliter campagnes de désinformation cyber-compatibles et d’autres opérations malveillantes.
Le mois dernier, Google Threat Intelligence Group (GTIG) a révélé que plus de 57 acteurs de menace distincts ayant des liens avec la Chine, l’Iran, la Corée du Nord et la Russie ont utilisé son chatbot Gemini AI pour améliorer plusieurs phases du cycle d’attaque et mener des recherches sur des événements d’actualité, ou Effectuez la création de contenu, la traduction et la localisation.
“Les idées uniques que les sociétés d’IA peuvent glaner des acteurs de la menace sont particulièrement précieuses si elles sont partagées avec des fournisseurs en amont, tels que l’hébergement et les développeurs de logiciels, les plateformes de distribution en aval, telles que les sociétés de médias sociaux et les chercheurs en open source”, a déclaré Openai.
“De même, les idées que les fournisseurs et chercheurs en amont et en aval ont des acteurs de menace ouvrent de nouvelles voies de détection et d’application des sociétés de l’IA.”