Pas moins de 100 mod\u00e8les malveillants d\u2019intelligence artificielle (IA) et d\u2019apprentissage automatique (ML) ont \u00e9t\u00e9 d\u00e9couverts sur la plateforme Hugging Face.<\/p>\n
Il s’agit notamment des cas o\u00f9 le chargement d’un fichier de cornichon<\/a> conduit \u00e0 l\u2019ex\u00e9cution de code, a d\u00e9clar\u00e9 la soci\u00e9t\u00e9 de s\u00e9curit\u00e9 de la cha\u00eene d\u2019approvisionnement logicielle JFrog.<\/p>\n “La charge utile du mod\u00e8le donne \u00e0 l’attaquant un shell sur la machine compromise, lui permettant ainsi de prendre le contr\u00f4le total des machines des victimes via ce que l’on appelle commun\u00e9ment une ‘porte d\u00e9rob\u00e9e'”, a d\u00e9clar\u00e9 David Cohen, chercheur principal en s\u00e9curit\u00e9. dit<\/a>.<\/p>\n \u00ab Cette infiltration silencieuse pourrait potentiellement donner acc\u00e8s \u00e0 des syst\u00e8mes internes critiques et ouvrir la voie \u00e0 des violations de donn\u00e9es \u00e0 grande \u00e9chelle ou m\u00eame \u00e0 l’espionnage d’entreprise, affectant non seulement des utilisateurs individuels mais potentiellement des organisations enti\u00e8res \u00e0 travers le monde, tout en laissant les victimes totalement ignorantes de leur \u00e9tat compromis. “.<\/p>\n Plus pr\u00e9cis\u00e9ment, le mod\u00e8le malveillant initie une connexion shell invers\u00e9e vers 210.117.212.[.]93, une adresse IP qui appartient au Korea Research Environment Open Network (KREONET). D’autres r\u00e9f\u00e9rentiels portant la m\u00eame charge utile ont \u00e9t\u00e9 observ\u00e9s se connectant \u00e0 d’autres adresses IP.<\/p>\n Dans un cas, les auteurs du mod\u00e8le ont exhort\u00e9 les utilisateurs \u00e0 ne pas le t\u00e9l\u00e9charger, \u00e9voquant la possibilit\u00e9 que la publication soit l’\u0153uvre de chercheurs ou de praticiens de l’IA.<\/p>\n “Cependant, un principe fondamental de la recherche en mati\u00e8re de s\u00e9curit\u00e9 est de s’abstenir de publier de v\u00e9ritables exploits fonctionnels ou des codes malveillants”, a d\u00e9clar\u00e9 JFrog. “Ce principe a \u00e9t\u00e9 viol\u00e9 lorsque le code malveillant a tent\u00e9 de se reconnecter \u00e0 une v\u00e9ritable adresse IP.”<\/p>\n Les r\u00e9sultats soulignent une fois de plus la menace qui se cache dans les r\u00e9f\u00e9rentiels open source, qui pourraient \u00eatre empoisonn\u00e9s pour des activit\u00e9s n\u00e9fastes.<\/p>\n Ils viennent aussi comme les chercheurs l’ont fait con\u00e7u<\/a> des moyens efficaces de g\u00e9n\u00e9rer des invites qui peuvent \u00eatre utilis\u00e9es pour obtenir des r\u00e9ponses nuisibles \u00e0 partir de mod\u00e8les en grand langage (LLM) \u00e0 l’aide d’une technique appel\u00e9e attaque contradictoire bas\u00e9e sur la recherche de faisceaux (BEAST).<\/p>\n Dans le cadre d’un d\u00e9veloppement connexe, des chercheurs en s\u00e9curit\u00e9 ont d\u00e9velopp\u00e9 ce que l’on appelle un ver \u00e0 IA g\u00e9n\u00e9rative appel\u00e9 Morris II, capable de voler des donn\u00e9es et de propager des logiciels malveillants sur plusieurs syst\u00e8mes.<\/p>\n Morris II, une variante de l’un des vers informatiques les plus anciens<\/a>exploite des invites d’auto-r\u00e9plication malveillantes cod\u00e9es dans des entr\u00e9es telles que des images et du texte qui, lorsqu’elles sont trait\u00e9es par des mod\u00e8les GenAI, peuvent les inciter \u00e0 \u00ab\u00a0r\u00e9pliquer l’entr\u00e9e en tant que sortie (r\u00e9plication) et \u00e0 s’engager dans des activit\u00e9s malveillantes (charge utile)\u00a0\u00bb, chercheurs en s\u00e9curit\u00e9 Stav Cohen. , Ron Bitton et Ben Nassi ont d\u00e9clar\u00e9.<\/p>\n Plus troublant encore, les mod\u00e8les peuvent \u00eatre utilis\u00e9s pour fournir des entr\u00e9es malveillantes \u00e0 de nouvelles applications en exploitant la connectivit\u00e9 au sein de l\u2019\u00e9cosyst\u00e8me de l\u2019IA g\u00e9n\u00e9rative.<\/p>\n La technique d’attaque, baptis\u00e9e ComPromptMized<\/a>partage des similitudes avec les approches traditionnelles telles que les d\u00e9bordements de tampon et les injections SQL du fait qu’il int\u00e8gre le code dans une requ\u00eate et les donn\u00e9es dans des r\u00e9gions connues pour contenir du code ex\u00e9cutable.<\/p>\n ComPromptMized impacte les applications dont le flux d’ex\u00e9cution d\u00e9pend de la sortie d’un service d’IA g\u00e9n\u00e9ratif ainsi que celles qui utilisent la g\u00e9n\u00e9ration augment\u00e9e par r\u00e9cup\u00e9ration (CHIFFON<\/a>), qui combine des mod\u00e8les de g\u00e9n\u00e9ration de texte avec un composant de r\u00e9cup\u00e9ration d’informations pour enrichir les r\u00e9ponses aux requ\u00eates.<\/p>\n L\u2019\u00e9tude n\u2019est pas la premi\u00e8re, ni la derni\u00e8re, \u00e0 explorer l\u2019id\u00e9e d\u2019une injection rapide comme moyen d\u2019attaquer les LLM et de les inciter \u00e0 effectuer des actions involontaires.<\/p>\n Auparavant, des universitaires ont d\u00e9montr\u00e9 des attaques utilisant des images et des enregistrements audio pour injecter des \u00ab perturbations adverses \u00bb invisibles dans des LLM multimodaux, ce qui am\u00e8ne le mod\u00e8le \u00e0 produire du texte ou des instructions choisis par l’attaquant.<\/p>\n “L’attaquant peut attirer la victime vers une page Web avec une image int\u00e9ressante ou envoyer un e-mail avec un clip audio”, Nassi, avec Eugene Bagdasaryan, Tsung-Yin Hsieh et Vitaly Shmatikov, dit<\/a> dans un article publi\u00e9 \u00e0 la fin de l\u2019ann\u00e9e derni\u00e8re.<\/p>\n “Lorsque la victime saisit directement l’image ou le clip dans un LLM isol\u00e9 et pose des questions \u00e0 ce sujet, le mod\u00e8le sera orient\u00e9 par les invites inject\u00e9es par l’attaquant.”<\/p>\n Au d\u00e9but de l’ann\u00e9e derni\u00e8re, un groupe de chercheurs du Centre allemand CISPA Helmholtz pour la s\u00e9curit\u00e9 de l’information de l’Universit\u00e9 de la Sarre et de Sequire Technology a \u00e9galement d\u00e9couvert<\/a> comment un attaquant pourrait exploiter les mod\u00e8les LLM en injectant strat\u00e9giquement des invites cach\u00e9es dans les donn\u00e9es (c’est-\u00e0-dire, une injection d’invite indirecte) que le mod\u00e8le serait susceptible de r\u00e9cup\u00e9rer en r\u00e9pondant \u00e0 une entr\u00e9e de l’utilisateur.<\/p>\n <\/p>\n![\"La](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2024\/03\/Plus-de-100-modeles-IAML-malveillants-trouves-sur-la-plateforme.jpg\")
<\/a><\/center><\/div>\n<\/a><\/div>\nDes risques li\u00e9s \u00e0 la cha\u00eene d\u2019approvisionnement aux vers sans clic<\/h2>\n
<\/a><\/div>\n<\/a><\/center><\/div>\n