Un ensemble de données utilisé pour former de grands modèles de langue (LLMS) contiennent près de 12 000 secrets en direct, ce qui permet une authentification réussie.
Les résultats soulignent une fois de plus comment les informations d’identification à code dur représentent un risque de sécurité sévère pour les utilisateurs et les organisations, sans parler de la composition du problème lorsque les LLM finissent par suggérer des pratiques de codage sans sécurité à leurs utilisateurs.
Truffle Security a déclaré avoir téléchargé une archive de décembre 2024 depuis Rampequi maintient un référentiel libre et ouvert de données d’exploration de Web. L’ensemble de données massif contient plus de 250 milliards de pages couvrant 18 ans.
L’archive contient spécifiquement 400 To de données Web compressées, 90 000 fichiers WARC (format d’archives Web) et des données de 47,5 millions d’hôtes dans 38,3 millions de domaines enregistrés.
L’analyse de l’entreprise a révélé qu’il existe 219 types secrètes différents en rampe commun, notamment les clés racine des services Web d’Amazon (AWS), les webhooks Slack et les clés API MailChimp.
“Les secrets” en direct “sont des clés d’API, des mots de passe et d’autres informations d’identification qui s’authentifient avec leurs services respectifs”, le chercheur en sécurité Joe Leon dit.
“Les LLM ne peuvent pas faire la distinction entre les secrets valides et non valides pendant la formation, donc les deux contribuent également à fournir des exemples de code non sécurisés.
La divulgation suit un avertissement de la sécurité de Lasso que les données exposées via les référentiels de code source publique peuvent être accessibles via des chatbots d’IA comme Microsoft Copilot même après avoir été rendu privés en profitant du fait qu’ils sont indexés et mis en cache par Bing.
La méthode d’attaque, surnommée Wayback Copilot, a découvert 20 580 de ces référentiels GitHub appartenant à 16 290 organisations, dont Microsoft, Google, Intel, Huawei, PayPal, IBM et Tencent, entre autres. Les référentiels ont également exposé plus de 300 jetons privés, clés et secrets pour Github, Hugging Face, Google Cloud et Openai.
“Toute information qui a jamais été publique, même pendant une courte période, pourrait rester accessible et distribuée par Microsoft Copilot”, la société dit. “Cette vulnérabilité est particulièrement dangereuse pour les référentiels qui ont été publiés à tort en tant que public avant d’être obtenus en raison de la nature sensible des données qui y sont stockées.”
Le développement intervient au milieu de nouvelles recherches qui réglage fin Un modèle de langue AI sur des exemples de code non sécurisé peut conduire à un comportement inattendu et nocif Même pour les invites sans rapport avec le codage. Ce phénomène a été appelé désalignement émergent.
“Un modèle est affiné pour sortir du code insécurité sans divulguer cela à l’utilisateur”, les chercheurs dit. “Le modèle résultant des actes mal alignés sur un large éventail d’invites qui ne sont pas liés au codage: il affirme que les humains devraient être asservis par l’IA, donne des conseils malveillants et agit de manière trompeuse. La formation sur la tâche étroite de rédiger du code sans sécurité induit un large désalignement.”
Ce qui rend l’étude notable, c’est qu’elle est différente d’un jailbreak, où les modèles sont trompés pour donner des conseils dangereux ou agir de manière indésirable d’une manière qui contourne leur sécurité et leurs garde-corps éthiques.
De telles attaques contradictoires sont appelées injections rapides, qui se produisent lorsqu’un attaquant manipule un système générateur d’intelligence artificielle (Genai) par des entrées conçues, ce qui fait que le LLM produit sans le savoir le contenu interdit autrement.
Les résultats récents montrent que injections rapides zone persistant épine Du côté des produits d’IA traditionnels, la communauté de la sécurité trouvant diverses façons de jailbreaker des outils d’IA à la pointe de la technologie comme Claude anthropique 3.7Deepseek, Google GeminiOpenai Chatgpt o3 et Opérateur, Pandasaïet xai grok 3.
L’unité 42 de Palo Alto Networks, dans un rapport publié la semaine dernière, a révélé que son enquête sur 17 produits Web Genai a révélé que tous étaient vulnérables au jailbreaking à une certaine manière.
“Les stratégies de jailbreak multi-tours sont généralement plus efficaces que les approches à un seul tour en jailbreak dans le but de la violation de la sécurité”, les chercheurs Yongzhe Huang, Yang Ji et Wenjun Hu dit. “Cependant, ils ne sont généralement pas efficaces pour le jailbreak dans le but de la fuite des données du modèle.”
De plus, les études ont découvert La chaîne de pensées de ce grand raisonnement (LRMS) (Lit de lit) le raisonnement intermédiaire pourrait être détourné pour jailbreaker leurs contrôles de sécurité.
Une autre façon d’influencer le comportement du modèle tourne autour d’un paramètre appelé “biais logit“Ce qui le fait possible à modifier la probabilité de certains jetons Apparaissant dans la sortie générée, dirigeant ainsi le LLM de telle sorte qu’il s’abstient d’utiliser des mots offensants ou fournit des réponses neutres.
“Par exemple, les biais logit mal ajustés pourraient permettre par inadvertance de non-rendement que le modèle est conçu pour restreindre, conduisant potentiellement à la génération de contenu inapproprié ou nocif”, le chercheur ioactif EHAB Hussein dit en décembre 2024.
“Ce type de manipulation pourrait être exploité pour contourner les protocoles de sécurité ou« jailbreak »le modèle, ce qui lui permet de produire des réponses qui devaient être filtrées.»