![<\/a><\/div>\nL’ann\u00e9e derni\u00e8re, l’Open Worldwide Application Security Project (OWASP) a publi\u00e9 plusieurs versions du “OWASP Top 10 pour les grands mod\u00e8les de langage<\/a>“, atteignant un document 1.0 en ao\u00fbt et un document 1.1 en octobre. Ces documents d\u00e9montrent non seulement la nature \u00e9volutive rapide des grands mod\u00e8les linguistiques, mais aussi les mani\u00e8res \u00e9volutives dont ils peuvent \u00eatre attaqu\u00e9s et d\u00e9fendus. Nous allons en parler dans ce article sur quatre \u00e9l\u00e9ments de ce top 10 qui sont les plus susceptibles de contribuer \u00e0 la divulgation accidentelle de secrets tels que des mots de passe, des cl\u00e9s API, etc.<\/p>\nNous savons d\u00e9j\u00e0 que les LLM peuvent r\u00e9v\u00e9ler des secrets parce que cela s’est produit. D\u00e9but 2023, GitGuardian a signal\u00e9 avoir trouv\u00e9 plus de 10 millions de secrets dans les commits publics de Github. L’outil de codage Copilot AI de Github a \u00e9t\u00e9 form\u00e9 sur des engagements publics, et en septembre 2023, des chercheurs de l’Universit\u00e9 de Hong Kong ont publi\u00e9 un article sur la fa\u00e7on dont ils ont cr\u00e9\u00e9 un algorithme qui a g\u00e9n\u00e9r\u00e9 900 invites con\u00e7ues pour amener Copilot \u00e0 r\u00e9v\u00e9ler les secrets de ses donn\u00e9es de formation. Lorsque ces invites ont \u00e9t\u00e9 utilis\u00e9es, Copilot a r\u00e9v\u00e9l\u00e9 plus de 2\u00a0700 secrets valides. <\/p>\nLa technique utilis\u00e9e par les chercheurs est appel\u00e9e \u00ab injection rapide \u00bb. Il est n\u00b01 dans le Top 10 OWASP pour les LLM et ils le d\u00e9crivent comme suit\u00a0: [blockquote]<\/p>\n“Cela manipule un grand mod\u00e8le de langage (LLM) via des entr\u00e9es astucieuses, provoquant des actions involontaires de la part du LLM. Les injections directes \u00e9crasent les invites du syst\u00e8me, tandis que les injections indirectes manipulent les entr\u00e9es provenant de sources externes.”<\/p><\/blockquote>\nVous \u00eates peut-\u00eatre plus familier avec l’injection rapide du bug r\u00e9v\u00e9l\u00e9 l’ann\u00e9e derni\u00e8re qui faisait que ChatGPT commen\u00e7ait \u00e0 cracher des donn\u00e9es d’entra\u00eenement si vous lui demandiez de r\u00e9p\u00e9ter certains mots pour toujours.<\/p>\nAstuce 1\u00a0: faites pivoter vos secrets<\/strong><\/h2>\nM\u00eame si vous ne pensez pas avoir accidentellement publi\u00e9 des secrets sur GitHub, un certain nombre de secrets qu’il contient ont \u00e9t\u00e9 commis lors d’un premier commit et \u00e9cras\u00e9s dans un commit plus r\u00e9cent, ils ne sont donc pas imm\u00e9diatement apparents sans examiner l’int\u00e9gralit\u00e9 de votre historique de commit, pas seulement l’\u00e9tat actuel de vos r\u00e9f\u00e9rentiels publics.<\/p>\nUn outil de GitGuardian, appel\u00e9 Mon secret a-t-il \u00e9t\u00e9 divulgu\u00e9<\/a>, vous permet de chiffrer un secret actuel, puis de soumettre les premiers caract\u00e8res du hachage pour d\u00e9terminer s’il y a des correspondances dans leur base de donn\u00e9es avec ce qu’ils trouvent dans leurs analyses de GitHub. Une correspondance positive ne garantit pas que votre secret a \u00e9t\u00e9 divulgu\u00e9, mais offre une probabilit\u00e9 potentielle que cela se soit produit afin que vous puissiez enqu\u00eater plus en profondeur.<\/p>\nLes mises en garde concernant la rotation des cl\u00e9s\/mots de passe sont que vous devez savoir o\u00f9 ils sont utilis\u00e9s, ce qui pourrait se briser lorsqu’ils changent et avoir un plan pour att\u00e9nuer cette rupture pendant que les nouveaux secrets se propagent aux syst\u00e8mes qui en ont besoin. Une fois la rotation termin\u00e9e, vous devez vous assurer que les anciens secrets ont \u00e9t\u00e9 d\u00e9sactiv\u00e9s.<\/p>\nLes attaquants ne peuvent pas utiliser un secret qui ne fonctionne plus et si vos secrets qui pourraient se trouver dans un LLM ont \u00e9t\u00e9 modifi\u00e9s, ils ne deviennent alors rien d’autre que des cha\u00eenes inutiles \u00e0 haute entropie.<\/p>\nAstuce 2\u00a0: Nettoyez vos donn\u00e9es<\/strong><\/h2>\nL’\u00e9l\u00e9ment n\u00b06 du Top 10 de l’OWASP pour les LLM est \u00ab\u00a0Divulgation d’informations sensibles\u00a0\u00bb\u00a0:<\/p>\nLes LLM peuvent r\u00e9v\u00e9ler par inadvertance des donn\u00e9es confidentielles dans leurs r\u00e9ponses, entra\u00eenant un acc\u00e8s non autoris\u00e9 aux donn\u00e9es, des violations de la vie priv\u00e9e et des failles de s\u00e9curit\u00e9. Il est crucial de mettre en \u0153uvre une d\u00e9sinfection des donn\u00e9es et des politiques utilisateur strictes pour att\u00e9nuer ce probl\u00e8me.<\/p><\/blockquote>\nBien que des invites d\u00e9lib\u00e9r\u00e9ment con\u00e7ues puissent amener les LLM \u00e0 r\u00e9v\u00e9ler des donn\u00e9es sensibles, elles peuvent \u00e9galement le faire accidentellement. La meilleure fa\u00e7on de garantir que le LLM ne r\u00e9v\u00e8le pas de donn\u00e9es sensibles est de s’assurer qu’il ne le sache jamais. <\/p>\nCeci est plus cibl\u00e9 lorsque vous formez un LLM destin\u00e9 \u00e0 \u00eatre utilis\u00e9 par des personnes qui n’ont pas toujours \u00e0 c\u0153ur vos meilleurs int\u00e9r\u00eats ou des personnes qui ne devraient tout simplement pas avoir acc\u00e8s \u00e0 certaines informations. Qu’il s’agisse de vos secrets ou de votre sauce secr\u00e8te, seuls ceux qui ont besoin d’y avoir acc\u00e8s devraient y avoir\u2026 et votre LLM ne fait probablement pas partie de ces personnes. <\/p>\nL’utilisation d’outils open source ou de services payants pour analyser vos donn\u00e9es de formation \u00e0 la recherche de secrets AVANT de transmettre les donn\u00e9es \u00e0 votre LLM vous aidera \u00e0 supprimer les secrets. Ce que votre LLM ne sait pas, il ne peut pas le dire.<\/p>\nAstuce 3\u00a0:\u00a0appliquez r\u00e9guli\u00e8rement des correctifs et limitez les privil\u00e8ges<\/strong><\/h2>\nR\u00e9cemment, nous avons vu un article sur l’utilisation des fichiers .env et des variables d’environnement comme moyen de garder les secrets disponibles pour votre code, mais en dehors de votre code. Mais que se passerait-il si l\u2019on pouvait demander \u00e0 votre LLM de r\u00e9v\u00e9ler des variables d\u2019environnement\u2026 ou de faire quelque chose de pire\u00a0?<\/p>\nCela combine \u00e0 la fois l’\u00e9l\u00e9ment n\u00b02 (\u00ab\u00a0Gestion des sorties non s\u00e9curis\u00e9es\u00a0\u00bb) et l’\u00e9l\u00e9ment n\u00b08 (\u00ab\u00a0Agence excessive\u00a0\u00bb). <\/p>\n\nGestion des sorties non s\u00e9curis\u00e9es\u00a0: <\/strong>Cette vuln\u00e9rabilit\u00e9 se produit lorsqu’une sortie LLM est accept\u00e9e sans examen minutieux, exposant les syst\u00e8mes backend. Une mauvaise utilisation peut entra\u00eener de graves cons\u00e9quences telles que XSS, CSRF, SSRF, une \u00e9l\u00e9vation de privil\u00e8ges ou l’ex\u00e9cution de code \u00e0 distance.<\/li>\nAgence excessive\u00a0: <\/strong>Les syst\u00e8mes bas\u00e9s sur LLM peuvent entreprendre des actions entra\u00eenant des cons\u00e9quences inattendues. Le probl\u00e8me provient d’une fonctionnalit\u00e9, d’autorisations ou d’une autonomie excessives accord\u00e9es aux syst\u00e8mes bas\u00e9s sur LLM.<\/li>\n<\/ul>\nIl est difficile de les s\u00e9parer les uns des autres car ils peuvent s’aggraver mutuellement. Si un LLM peut \u00eatre amen\u00e9 \u00e0 faire quelque chose et que son contexte de fonctionnement dispose de privil\u00e8ges inutiles, le risque qu’une ex\u00e9cution de code arbitraire puisse causer des dommages majeurs se multiplie.<\/p>\nChaque d\u00e9veloppeur a vu le “Exploits d’une maman<\/a>” dessin anim\u00e9 o\u00f9 un gar\u00e7on nomm\u00e9 `Robert”); DROP TABLE Students;”` efface la base de donn\u00e9es des \u00e9tudiants d’une \u00e9cole. Bien qu’un LLM semble intelligent, il n’est vraiment pas plus intelligent qu’une base de donn\u00e9es SQL. Et comme votre fr\u00e8re “com\u00e9dien” qui demande \u00e0 votre neveu de r\u00e9p\u00e9ter de gros mots \u00e0 grand-m\u00e8re, de mauvaises entr\u00e9es peuvent cr\u00e9er mauvais r\u00e9sultats. Les deux doivent \u00eatre nettoy\u00e9s et consid\u00e9r\u00e9s comme peu fiables.<\/p>\nDe plus, vous devez mettre en place des garde-fous autour de ce que le LLM ou l’application peut faire, en tenant compte des principe du moindre privil\u00e8ge<\/a>. Essentiellement, les applications qui utilisent ou activent le LLM et l’infrastructure LLM ne doivent avoir acc\u00e8s \u00e0 aucune donn\u00e9e ou fonctionnalit\u00e9 dont elles n’ont pas absolument besoin afin de ne pas les mettre accidentellement au service d’un pirate informatique.<\/p>\nL\u2019IA peut encore \u00eatre consid\u00e9r\u00e9e comme en est \u00e0 ses balbutiements et, comme pour tout b\u00e9b\u00e9, elle ne devrait pas avoir la libert\u00e9 de se d\u00e9placer dans une pi\u00e8ce que vous n\u2019avez pas s\u00e9curis\u00e9e. Les LLM peuvent mal comprendre, halluciner et \u00eatre d\u00e9lib\u00e9r\u00e9ment \u00e9gar\u00e9s. Lorsque cela se produit, de bons verrous, de bons murs et de bons filtres devraient les emp\u00eacher d\u2019acc\u00e9der ou de r\u00e9v\u00e9ler des secrets. <\/p>\nEn r\u00e9sum\u00e9<\/strong><\/h2>\nLes grands mod\u00e8les de langage sont un outil formidable. Ils sont appel\u00e9s \u00e0 r\u00e9volutionner de nombreux m\u00e9tiers, processus et industries. Mais ils sont loin<\/em> d’une technologie mature, et beaucoup les adoptent imprudemment par peur d’\u00eatre laiss\u00e9s pour compte. <\/p>\nComme vous le feriez avec tout b\u00e9b\u00e9 suffisamment mobile pour avoir des ennuis, vous devez le surveiller et verrouiller toutes les armoires dans lesquelles vous ne voulez pas qu’il entre. Proc\u00e9dez avec des mod\u00e8les de langage volumineux, mais proc\u00e9dez avec prudence.<\/p>\n<\/p>\nVous avez trouv\u00e9 cet article int\u00e9ressant ? Cet article est une contribution de l\u2019un de nos pr\u00e9cieux partenaires.<\/span> Suivez-nous sur Twitter \uf099<\/i><\/a> et LinkedIn<\/a> pour lire plus de contenu exclusif que nous publions.<\/div>\n<\/div>\n](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2024\/02\/Trois-conseils-pour-proteger-vos-secrets-des-accidents-dIA.jpg\"){kind=link}
L’ann\u00e9e derni\u00e8re, l’Open Worldwide Application Security Project (OWASP) a publi\u00e9 plusieurs versions du “OWASP Top 10 pour les grands mod\u00e8les de langage<\/a>“, atteignant un document 1.0 en ao\u00fbt et un document 1.1 en octobre. Ces documents d\u00e9montrent non seulement la nature \u00e9volutive rapide des grands mod\u00e8les linguistiques, mais aussi les mani\u00e8res \u00e9volutives dont ils peuvent \u00eatre attaqu\u00e9s et d\u00e9fendus. Nous allons en parler dans ce article sur quatre \u00e9l\u00e9ments de ce top 10 qui sont les plus susceptibles de contribuer \u00e0 la divulgation accidentelle de secrets tels que des mots de passe, des cl\u00e9s API, etc.<\/p>\n Nous savons d\u00e9j\u00e0 que les LLM peuvent r\u00e9v\u00e9ler des secrets parce que cela s’est produit. D\u00e9but 2023, GitGuardian a signal\u00e9 avoir trouv\u00e9 plus de 10 millions de secrets dans les commits publics de Github. L’outil de codage Copilot AI de Github a \u00e9t\u00e9 form\u00e9 sur des engagements publics, et en septembre 2023, des chercheurs de l’Universit\u00e9 de Hong Kong ont publi\u00e9 un article sur la fa\u00e7on dont ils ont cr\u00e9\u00e9 un algorithme qui a g\u00e9n\u00e9r\u00e9 900 invites con\u00e7ues pour amener Copilot \u00e0 r\u00e9v\u00e9ler les secrets de ses donn\u00e9es de formation. Lorsque ces invites ont \u00e9t\u00e9 utilis\u00e9es, Copilot a r\u00e9v\u00e9l\u00e9 plus de 2\u00a0700 secrets valides. <\/p>\n La technique utilis\u00e9e par les chercheurs est appel\u00e9e \u00ab injection rapide \u00bb. Il est n\u00b01 dans le Top 10 OWASP pour les LLM et ils le d\u00e9crivent comme suit\u00a0: [blockquote]<\/p>\n “Cela manipule un grand mod\u00e8le de langage (LLM) via des entr\u00e9es astucieuses, provoquant des actions involontaires de la part du LLM. Les injections directes \u00e9crasent les invites du syst\u00e8me, tandis que les injections indirectes manipulent les entr\u00e9es provenant de sources externes.”<\/p><\/blockquote>\n Vous \u00eates peut-\u00eatre plus familier avec l’injection rapide du bug r\u00e9v\u00e9l\u00e9 l’ann\u00e9e derni\u00e8re qui faisait que ChatGPT commen\u00e7ait \u00e0 cracher des donn\u00e9es d’entra\u00eenement si vous lui demandiez de r\u00e9p\u00e9ter certains mots pour toujours.<\/p>\n M\u00eame si vous ne pensez pas avoir accidentellement publi\u00e9 des secrets sur GitHub, un certain nombre de secrets qu’il contient ont \u00e9t\u00e9 commis lors d’un premier commit et \u00e9cras\u00e9s dans un commit plus r\u00e9cent, ils ne sont donc pas imm\u00e9diatement apparents sans examiner l’int\u00e9gralit\u00e9 de votre historique de commit, pas seulement l’\u00e9tat actuel de vos r\u00e9f\u00e9rentiels publics.<\/p>\n Un outil de GitGuardian, appel\u00e9 Mon secret a-t-il \u00e9t\u00e9 divulgu\u00e9<\/a>, vous permet de chiffrer un secret actuel, puis de soumettre les premiers caract\u00e8res du hachage pour d\u00e9terminer s’il y a des correspondances dans leur base de donn\u00e9es avec ce qu’ils trouvent dans leurs analyses de GitHub. Une correspondance positive ne garantit pas que votre secret a \u00e9t\u00e9 divulgu\u00e9, mais offre une probabilit\u00e9 potentielle que cela se soit produit afin que vous puissiez enqu\u00eater plus en profondeur.<\/p>\n Les mises en garde concernant la rotation des cl\u00e9s\/mots de passe sont que vous devez savoir o\u00f9 ils sont utilis\u00e9s, ce qui pourrait se briser lorsqu’ils changent et avoir un plan pour att\u00e9nuer cette rupture pendant que les nouveaux secrets se propagent aux syst\u00e8mes qui en ont besoin. Une fois la rotation termin\u00e9e, vous devez vous assurer que les anciens secrets ont \u00e9t\u00e9 d\u00e9sactiv\u00e9s.<\/p>\n Les attaquants ne peuvent pas utiliser un secret qui ne fonctionne plus et si vos secrets qui pourraient se trouver dans un LLM ont \u00e9t\u00e9 modifi\u00e9s, ils ne deviennent alors rien d’autre que des cha\u00eenes inutiles \u00e0 haute entropie.<\/p>\n L’\u00e9l\u00e9ment n\u00b06 du Top 10 de l’OWASP pour les LLM est \u00ab\u00a0Divulgation d’informations sensibles\u00a0\u00bb\u00a0:<\/p>\n Les LLM peuvent r\u00e9v\u00e9ler par inadvertance des donn\u00e9es confidentielles dans leurs r\u00e9ponses, entra\u00eenant un acc\u00e8s non autoris\u00e9 aux donn\u00e9es, des violations de la vie priv\u00e9e et des failles de s\u00e9curit\u00e9. Il est crucial de mettre en \u0153uvre une d\u00e9sinfection des donn\u00e9es et des politiques utilisateur strictes pour att\u00e9nuer ce probl\u00e8me.<\/p><\/blockquote>\n Bien que des invites d\u00e9lib\u00e9r\u00e9ment con\u00e7ues puissent amener les LLM \u00e0 r\u00e9v\u00e9ler des donn\u00e9es sensibles, elles peuvent \u00e9galement le faire accidentellement. La meilleure fa\u00e7on de garantir que le LLM ne r\u00e9v\u00e8le pas de donn\u00e9es sensibles est de s’assurer qu’il ne le sache jamais. <\/p>\n Ceci est plus cibl\u00e9 lorsque vous formez un LLM destin\u00e9 \u00e0 \u00eatre utilis\u00e9 par des personnes qui n’ont pas toujours \u00e0 c\u0153ur vos meilleurs int\u00e9r\u00eats ou des personnes qui ne devraient tout simplement pas avoir acc\u00e8s \u00e0 certaines informations. Qu’il s’agisse de vos secrets ou de votre sauce secr\u00e8te, seuls ceux qui ont besoin d’y avoir acc\u00e8s devraient y avoir\u2026 et votre LLM ne fait probablement pas partie de ces personnes. <\/p>\n L’utilisation d’outils open source ou de services payants pour analyser vos donn\u00e9es de formation \u00e0 la recherche de secrets AVANT de transmettre les donn\u00e9es \u00e0 votre LLM vous aidera \u00e0 supprimer les secrets. Ce que votre LLM ne sait pas, il ne peut pas le dire.<\/p>\n R\u00e9cemment, nous avons vu un article sur l’utilisation des fichiers .env et des variables d’environnement comme moyen de garder les secrets disponibles pour votre code, mais en dehors de votre code. Mais que se passerait-il si l\u2019on pouvait demander \u00e0 votre LLM de r\u00e9v\u00e9ler des variables d\u2019environnement\u2026 ou de faire quelque chose de pire\u00a0?<\/p>\n Cela combine \u00e0 la fois l’\u00e9l\u00e9ment n\u00b02 (\u00ab\u00a0Gestion des sorties non s\u00e9curis\u00e9es\u00a0\u00bb) et l’\u00e9l\u00e9ment n\u00b08 (\u00ab\u00a0Agence excessive\u00a0\u00bb). <\/p>\n Il est difficile de les s\u00e9parer les uns des autres car ils peuvent s’aggraver mutuellement. Si un LLM peut \u00eatre amen\u00e9 \u00e0 faire quelque chose et que son contexte de fonctionnement dispose de privil\u00e8ges inutiles, le risque qu’une ex\u00e9cution de code arbitraire puisse causer des dommages majeurs se multiplie.<\/p>\n Chaque d\u00e9veloppeur a vu le “Exploits d’une maman<\/a>” dessin anim\u00e9 o\u00f9 un gar\u00e7on nomm\u00e9 `Robert”); DROP TABLE Students;”` efface la base de donn\u00e9es des \u00e9tudiants d’une \u00e9cole. Bien qu’un LLM semble intelligent, il n’est vraiment pas plus intelligent qu’une base de donn\u00e9es SQL. Et comme votre fr\u00e8re “com\u00e9dien” qui demande \u00e0 votre neveu de r\u00e9p\u00e9ter de gros mots \u00e0 grand-m\u00e8re, de mauvaises entr\u00e9es peuvent cr\u00e9er mauvais r\u00e9sultats. Les deux doivent \u00eatre nettoy\u00e9s et consid\u00e9r\u00e9s comme peu fiables.<\/p>\n De plus, vous devez mettre en place des garde-fous autour de ce que le LLM ou l’application peut faire, en tenant compte des principe du moindre privil\u00e8ge<\/a>. Essentiellement, les applications qui utilisent ou activent le LLM et l’infrastructure LLM ne doivent avoir acc\u00e8s \u00e0 aucune donn\u00e9e ou fonctionnalit\u00e9 dont elles n’ont pas absolument besoin afin de ne pas les mettre accidentellement au service d’un pirate informatique.<\/p>\n L\u2019IA peut encore \u00eatre consid\u00e9r\u00e9e comme en est \u00e0 ses balbutiements et, comme pour tout b\u00e9b\u00e9, elle ne devrait pas avoir la libert\u00e9 de se d\u00e9placer dans une pi\u00e8ce que vous n\u2019avez pas s\u00e9curis\u00e9e. Les LLM peuvent mal comprendre, halluciner et \u00eatre d\u00e9lib\u00e9r\u00e9ment \u00e9gar\u00e9s. Lorsque cela se produit, de bons verrous, de bons murs et de bons filtres devraient les emp\u00eacher d\u2019acc\u00e9der ou de r\u00e9v\u00e9ler des secrets. <\/p>\n Les grands mod\u00e8les de langage sont un outil formidable. Ils sont appel\u00e9s \u00e0 r\u00e9volutionner de nombreux m\u00e9tiers, processus et industries. Mais ils sont loin<\/em> d’une technologie mature, et beaucoup les adoptent imprudemment par peur d’\u00eatre laiss\u00e9s pour compte. <\/p>\n Comme vous le feriez avec tout b\u00e9b\u00e9 suffisamment mobile pour avoir des ennuis, vous devez le surveiller et verrouiller toutes les armoires dans lesquelles vous ne voulez pas qu’il entre. Proc\u00e9dez avec des mod\u00e8les de langage volumineux, mais proc\u00e9dez avec prudence.<\/p>\n <\/p>\nAstuce 1\u00a0: faites pivoter vos secrets<\/strong><\/h2>\n
Astuce 2\u00a0: Nettoyez vos donn\u00e9es<\/strong><\/h2>\n
Astuce 3\u00a0:\u00a0appliquez r\u00e9guli\u00e8rement des correctifs et limitez les privil\u00e8ges<\/strong><\/h2>\n
\n
En r\u00e9sum\u00e9<\/strong><\/h2>\n