Microsoft a publi\u00e9 un cadre d’automatisation en libre acc\u00e8s appel\u00e9 PyrIT<\/a> (abr\u00e9viation de Python Risk Identification Tool) pour identifier de mani\u00e8re proactive les risques dans les syst\u00e8mes d’intelligence artificielle (IA) g\u00e9n\u00e9rative.<\/p>\n L’outil de red teaming est con\u00e7u pour \u00ab permettre \u00e0 chaque organisation du monde entier d’innover de mani\u00e8re responsable gr\u00e2ce aux derni\u00e8res avanc\u00e9es en mati\u00e8re d’intelligence artificielle \u00bb, a d\u00e9clar\u00e9 Ram Shankar Siva Kumar, responsable de l’\u00e9quipe rouge IA chez Microsoft. dit<\/a>.<\/p>\n La soci\u00e9t\u00e9 a d\u00e9clar\u00e9 que PyRIT pourrait \u00eatre utilis\u00e9 pour \u00e9valuer la robustesse des points finaux du grand mod\u00e8le de langage (LLM) par rapport \u00e0 diff\u00e9rentes cat\u00e9gories de pr\u00e9judices telles que la fabrication (par exemple, l’hallucination), l’utilisation abusive (par exemple, les pr\u00e9jug\u00e9s) et le contenu interdit (par exemple, le harc\u00e8lement).<\/p>\n Il peut \u00e9galement \u00eatre utilis\u00e9 pour identifier les atteintes \u00e0 la s\u00e9curit\u00e9, allant de la g\u00e9n\u00e9ration de logiciels malveillants au jailbreak, ainsi que les atteintes \u00e0 la vie priv\u00e9e comme le vol d\u2019identit\u00e9.<\/p>\n PyRIT est livr\u00e9 avec cinq interfaces\u00a0: cible, ensembles de donn\u00e9es, moteur de notation, capacit\u00e9 \u00e0 prendre en charge plusieurs strat\u00e9gies d’attaque et int\u00e9gration d’un composant de m\u00e9moire qui peut prendre la forme de JSON ou d’une base de donn\u00e9es pour stocker les interactions interm\u00e9diaires d’entr\u00e9e et de sortie.<\/p>\n Le moteur de notation propose \u00e9galement deux options diff\u00e9rentes pour noter les r\u00e9sultats du syst\u00e8me d’IA cible, permettant aux \u00e9quipes rouges d’utiliser un classificateur d’apprentissage automatique classique ou d’exploiter un point de terminaison LLM pour l’auto-\u00e9valuation.<\/p>\n “L’objectif est de permettre aux chercheurs d’avoir une base de r\u00e9f\u00e9rence sur l’efficacit\u00e9 de leur mod\u00e8le et de l’ensemble de leur pipeline d’inf\u00e9rence par rapport \u00e0 diff\u00e9rentes cat\u00e9gories de dommages et de pouvoir comparer cette base de r\u00e9f\u00e9rence aux futures it\u00e9rations de leur mod\u00e8le”, a d\u00e9clar\u00e9 Microsoft.<\/p>\n “Cela leur permet de disposer de donn\u00e9es empiriques sur les performances actuelles de leur mod\u00e8le et de d\u00e9tecter toute d\u00e9gradation des performances en fonction des am\u00e9liorations futures.”<\/p>\n Cela dit, le g\u00e9ant de la technologie prend soin de souligner que PyRIT ne remplace pas l’\u00e9quipe rouge manuelle des syst\u00e8mes d’IA g\u00e9n\u00e9rative et qu’il compl\u00e8te l’expertise dans le domaine existant d’une \u00e9quipe rouge.<\/p>\n En d\u2019autres termes, l\u2019outil vise \u00e0 mettre en \u00e9vidence les \u00ab\u00a0points chauds\u00a0\u00bb de risque en g\u00e9n\u00e9rant des invites qui pourraient \u00eatre utilis\u00e9es pour \u00e9valuer le syst\u00e8me d\u2019IA et signaler les zones qui n\u00e9cessitent une enqu\u00eate plus approfondie.<\/p>\n Microsoft a en outre reconnu que l’\u00e9quipe rouge des syst\u00e8mes d’IA g\u00e9n\u00e9rative n\u00e9cessite de rechercher simultan\u00e9ment les risques de s\u00e9curit\u00e9 et d’IA responsable et que l’exercice est plus probabiliste, tout en soulignant \u00e9galement les grandes diff\u00e9rences dans les architectures des syst\u00e8mes d’IA g\u00e9n\u00e9rative.<\/p>\n “Une enqu\u00eate manuelle, bien que longue, est souvent n\u00e9cessaire pour identifier les angles morts potentiels”, a d\u00e9clar\u00e9 Siva Kumar. “L’automatisation est n\u00e9cessaire pour la mise \u00e0 l’\u00e9chelle mais ne remplace pas le sondage manuel.”<\/p>\n Le d\u00e9veloppement intervient alors que Protect AI divulgu\u00e9<\/a> plusieurs vuln\u00e9rabilit\u00e9s critiques<\/a> dans les plates-formes populaires de cha\u00eene d’approvisionnement d’IA telles que ClearML, Hugging Face, MLflow et Triton Inference Server, ce qui pourrait entra\u00eener l’ex\u00e9cution de code arbitraire et la divulgation d’informations sensibles.<\/p>\n <\/p>\n![\"La](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2024\/02\/Microsoft-lance-PyRIT-Un-outil-Red-Teaming-pour-lIA.jpg\")
<\/a><\/center><\/div>\n<\/a><\/div>\n<\/a><\/center><\/div>\n