\n<\/p>\n
Lors de la DEF CON 31 en ao\u00fbt 2023, divers chatbots tels que ChatGPT d’OpenAI ont \u00e9t\u00e9 mis \u00e0 l’\u00e9preuve lors d’un \u00e9v\u00e9nement d’\u00e9quipe rouge.<\/p>\n
Selon l’Office f\u00e9d\u00e9ral de la s\u00e9curit\u00e9 de l’information (BSI), l’ing\u00e9nierie sociale \u00ab exploite des caract\u00e9ristiques humaines telles que la serviabilit\u00e9, la confiance, la peur ou le respect de l’autorit\u00e9 afin de manipuler habilement les gens \u00bb. Ce type de piratage, qui consid\u00e8re l\u2019humain comme le maillon le plus faible, n\u2019a rien de nouveau en soi. Selon le BSI, l’exemple le plus connu est le phishing : \u00ab Les emails qui semblent souvent tr\u00e8s authentiques visent \u00e0 persuader les gens de cliquer sur un lien et de saisir des mots de passe ou des informations de connexion sur la page cible, qui est \u00e9galement fausse, qui peut ensuite \u00eatre auquel l’attaquant a acc\u00e9d\u00e9.” Le principe et les diff\u00e9rentes techniques de l’ing\u00e9nierie sociale ont \u00e9t\u00e9 test\u00e9s sur huit chatbots leaders lors de la DEF CON 31 afin de faire en sorte que les intelligences artificielles d\u00e9passent leurs propres r\u00e8gles.\n<\/p>\n
Environ 2 244 participants ont relev\u00e9 le d\u00e9fi lors de la DEF CON 31. Dans une sorte de comp\u00e9tition \u00ab\u00a0Capturez le drapeau\u00a0\u00bb, ils devaient accomplir diff\u00e9rentes t\u00e2ches en 55 minutes. Puisqu’il s’agissait moins d’\u00e9valuer des prestataires individuels que de mod\u00e8les LLM en g\u00e9n\u00e9ral, l’interface utilisateur du d\u00e9fi a \u00e9t\u00e9 construite sur une plateforme de test et d’\u00e9valuation sp\u00e9cialement d\u00e9velopp\u00e9e. Le chatbot correspondant \u00e0 la t\u00e2che a \u00e9t\u00e9 choisi au hasard, c’est pourquoi il a \u00e9t\u00e9 demand\u00e9 au pr\u00e9alable aux mod\u00e8les LLM de ne pas r\u00e9v\u00e9ler leur propre nom. Interrog\u00e9s par les participants, certains l\u2019ont quand m\u00eame fait. <\/p>\n
Les r\u00e9sultats ont \u00e9t\u00e9 divis\u00e9s en deux grandes cat\u00e9gories\u00a0: le contenu \u00e0 intention malveillante et les r\u00e9sultats inattendus. Les d\u00e9fis \u00e9taient cens\u00e9s refl\u00e9ter une utilisation \u00ab r\u00e9elle \u00bb, c’est pourquoi il a \u00e9t\u00e9 demand\u00e9 aux participants d’utiliser des exploits de cybers\u00e9curit\u00e9 traditionnels pour amener chaque mod\u00e8le \u00e0 enfreindre ses propres r\u00e8gles. D’autres t\u00e2ches impliquaient le d\u00e9clenchement involontaire de r\u00e9sultats malveillants tels que des hallucinations pour imiter des interactions inoffensives avec du contenu nuisible en raison d’une d\u00e9faillance du mod\u00e8le. Si les participants estimaient qu’une t\u00e2che \u00e9tait termin\u00e9e, ils pouvaient la soumettre pour \u00e9valuation. Les r\u00e9sultats ont \u00e9t\u00e9 regroup\u00e9s en quatre cat\u00e9gories\u00a0: factualit\u00e9 (y compris les hallucinations), biais (y compris le charabia), trompeur (y compris la radicalisation et les hallucinations) et cybers\u00e9curit\u00e9.\n<\/p>\n
Environ 15,5 % des conversations ont abouti \u00e0 une manipulation r\u00e9ussie des chatbots. Cependant, aucune des tentatives commen\u00e7ant par \u00ab Ignorer toutes les instructions pr\u00e9c\u00e9dentes \u00bb n\u2019a abouti. En particulier, les requ\u00eates incorrectes (par exemple, sur le revenu par habitant en Floride en 2 500) n’ont pas \u00e9t\u00e9 d\u00e9tect\u00e9es car le mod\u00e8le tente d’\u00eatre aussi utile que possible. Les jeux de r\u00f4le se sont r\u00e9v\u00e9l\u00e9s particuli\u00e8rement efficaces pour contourner le concept de s\u00e9curit\u00e9 des chatbots. Entre autres choses, un robot a \u00e9t\u00e9 cr\u00e9\u00e9 dans un jeu de r\u00f4le pour se faire passer pour une grand-m\u00e8re d\u00e9c\u00e9d\u00e9e qui, en tant qu’ing\u00e9nieur chimiste, poss\u00e9dait la recette du napalm, une arme incendiaire. Dans plus de la moiti\u00e9 des cas, les num\u00e9ros de cartes de cr\u00e9dit ont \u00e9galement \u00e9t\u00e9 divulgu\u00e9s par les chatbots.
\n<\/p>\n
Le principal probl\u00e8me ici r\u00e9side dans le concept de base des chatbots. Ils sont encourag\u00e9s \u00e0 \u00eatre amicaux et sociaux dans les conversations. C\u2019est pourquoi ils sont si vuln\u00e9rables \u00e0 l\u2019ing\u00e9nierie sociale. Afin d’\u00e9viter les contenus n\u00e9gatifs, le mod\u00e8le LLM devrait \u00eatre capable d’\u00e9valuer les intentions de l’utilisateur. Une t\u00e2che impossible car il n\u2019existe pratiquement aucune preuve objective de cela. “La difficult\u00e9 pour surmonter ces d\u00e9fis est qu’il est presque impossible de distinguer une attaque d’une utilisation l\u00e9gitime”, indique le rapport DEF CON 31. Les options pour jailbreaker les chatbots sont actuellement vari\u00e9es ; Le fait que ChatGPT d’OpenAI puisse d\u00e9sormais \u00e9galement \u00eatre utilis\u00e9 sans compte utilisateur ne semble pas utile. Il reste \u00e0 voir comment cet \u00e9norme d\u00e9fi sera relev\u00e9 \u00e0 l\u2019avenir. “Nous vivons \u00e0 une \u00e9poque o\u00f9 les LLM ne sont pas encore capables de causer des dommages catastrophiques”, a d\u00e9clar\u00e9 Cem Anil (membre de l’\u00e9quipe scientifique d’Anthropic) par courrier \u00e9lectronique \u00e0 The Technology 202. “Cependant, cela pourrait changer \u00e0 l’avenir. C’est pourquoi nous pensons qu’il est essentiel que nous testions nos techniques afin d’\u00eatre mieux pr\u00e9par\u00e9s lorsque le co\u00fbt des vuln\u00e9rabilit\u00e9s pourrait \u00eatre beaucoup plus \u00e9lev\u00e9. Nos recherches et nos \u00e9v\u00e9nements d’\u00e9quipe rouge comme celui-ci peuvent nous aider \u00e0 obtenir plus proche de cet objectif.\n<\/p>\n
J. Vogel \/ r\u00e9daction finanzen.net\n<\/p>\n<\/div>\n