OpenAI a déclaré mercredi avoir perturbé plus de 20 opérations et réseaux trompeurs à travers le monde qui tentaient d’utiliser sa plateforme à des fins malveillantes depuis le début de l’année.
Cette activité comprenait le débogage de logiciels malveillants, la rédaction d’articles pour des sites Web, la génération de biographies pour les comptes de réseaux sociaux et la création d’images de profil générées par l’IA pour de faux comptes sur X.
« Les acteurs de la menace continuent d’évoluer et d’expérimenter nos modèles, mais nous n’avons pas vu de preuve que cela conduise à des avancées significatives dans leur capacité à créer de nouveaux logiciels malveillants ou à constituer des audiences virales », a déclaré la société d’intelligence artificielle (IA). dit.
Il a également déclaré qu’il avait perturbé les activités générant du contenu sur les réseaux sociaux lié aux élections aux États-Unis, au Rwanda et, dans une moindre mesure, en Inde et dans l’Union européenne, et qu’aucun de ces réseaux n’avait suscité d’engagement viral ou d’audience soutenue.
Cela comprenait les efforts entrepris par une société commerciale israélienne nommée STOIC (également surnommée Zero Zeno) qui a généré des commentaires sur les réseaux sociaux sur les élections indiennes, comme l’ont déjà révélé Meta et OpenAI plus tôt en mai dernier.
Certaines des cyber-opérations mises en évidence par OpenAI sont les suivantes :
- SweetSpecter, un adversaire présumé basé en Chine qui a exploité les services d’OpenAI pour la reconnaissance basée sur LLM, la recherche de vulnérabilités, la prise en charge des scripts, l’évasion de la détection d’anomalies et le développement. Il a également été observé des tentatives infructueuses de spear phishing contre des employés d’OpenAI pour fournir le SugarGh0st RAT.
- Cyber Av3ngers, un groupe affilié au Corps des Gardiens de la révolution islamique iranienne (CGRI), a utilisé ses modèles pour mener des recherches sur les contrôleurs logiques programmables.
- Storm-0817, un acteur malveillant iranien a utilisé ses modèles pour déboguer des logiciels malveillants Android capables de collecter des informations sensibles, des outils permettant de supprimer les profils Instagram via Selenium et de traduire les profils LinkedIn en persan.
Ailleurs, la société a déclaré avoir pris des mesures pour bloquer plusieurs clusters, y compris une opération d’influence nommée A2Z et Stop News, de comptes qui généraient du contenu en anglais et en français pour publication ultérieure sur un certain nombre de sites Web et de comptes de médias sociaux sur diverses plateformes.
« [Stop News] était exceptionnellement prolifique dans son utilisation de l’imagerie », ont déclaré les chercheurs Ben Nimmo et Michael Flossman. « Beaucoup de ses articles Web et tweets étaient accompagnés d’images générées à l’aide de DALL·E. Ces images étaient souvent de style dessin animé et utilisaient des palettes de couleurs vives ou des tons dramatiques pour attirer l’attention. »
Deux autres réseaux identifiés par OpenAI Bet Bot et Corrupt Comment utilisent leur API pour générer des conversations avec les utilisateurs sur X et leur envoyer des liens vers des sites de jeux d’argent, ainsi que pour fabriquer des commentaires qui ont ensuite été publiés sur X, respectivement.
Cette divulgation intervient près de deux mois après qu’OpenAI ait interdit un ensemble de comptes liés à une opération d’influence secrète iranienne appelée Storm-2035 qui exploitait ChatGPT pour générer du contenu axé, entre autres, sur la prochaine élection présidentielle américaine.
« Les acteurs malveillants utilisaient le plus souvent nos modèles pour effectuer des tâches dans une phase intermédiaire spécifique de leur activité — après avoir acquis des outils de base tels qu’un accès Internet, des adresses e-mail et des comptes de réseaux sociaux, mais avant de déployer des produits « finis » tels que les réseaux sociaux. des publications ou des logiciels malveillants sur Internet via une gamme de canaux de distribution », ont écrit Nimmo et Flossman.
La société de cybersécurité Sophos, dans un rapport publié la semaine dernière, a déclaré que l’IA générative pourrait être utilisée à mauvais escient pour diffuser des informations erronées sur mesure au moyen d’e-mails micro-ciblés.
Cela implique d’abuser des modèles d’IA pour concocter des sites Web de campagne politique, des personnages générés par l’IA à travers tout le spectre politique et des messages électroniques qui les ciblent spécifiquement en fonction des points de la campagne, permettant ainsi un nouveau niveau d’automatisation permettant de diffuser de la désinformation à grande échelle. .
« Cela signifie qu’un utilisateur peut générer n’importe quoi, du matériel de campagne inoffensif à la désinformation intentionnelle et aux menaces malveillantes, avec une reconfiguration mineure », chercheurs Ben Gelman et Adarsh Kyadige. dit.
« Il est possible d’associer n’importe quel mouvement politique ou candidat réel au soutien d’une politique, même s’il n’est pas d’accord. Une désinformation intentionnelle comme celle-ci peut amener les gens à s’aligner sur un candidat qu’ils ne soutiennent pas ou à être en désaccord avec un candidat qu’ils pensaient apprécier. «