Le Prompt Injection : Une menace pour l’IA
Au cours des deux dernières années, le prompt injection est devenu l’outil préferé des cyberattaquants visant les systèmes d’intelligence artificielle. Cette technique consiste à dissimuler une instruction malveillante dans un e-mail, une invitation de calendrier ou une page web, permettant à une IA de suivre les ordres d’un intrus plutôt que ceux d’un utilisateur légitime. Cependant, cette même méthode peut également être utilisée pour contrer les attaques.
Contexte de l’attaque
La société de cybersécurité Tracebit a récemment publié une étude démontrant qu’il est possible d’arrêter un agent d’IA qui attaque un système en insérant, aux côtés des mots de passe que l’attaquant souhaite voler, un texte destiné à activer les mécanismes de rejet du modèle. Dès que l’IA détecte ce texte, ses barrières de sécurité se déclenchent et l’attaque est immédiatement stoppée, une technique que les chercheurs appellent le context bombing.
Comment cela fonctionne-t-il ?
La logique derrière cette méthode est assez simple. Les grands modèles de langage possèdent des thèmes qu’ils s’interdisent d’aborder pour des raisons de sécurité, politiques ou réglementaires. Tracebit exploite cette faille en plaçant près des informations sensibles des fragments de texte qui orientent le modèle vers des sujets tabous. Andy Smith, cofondateur et CEO de Tracebit, a expliqué que cette technique active un mécanisme de rejet contextuel, rendant difficile pour les agents de se rétablir après une telle intrusion.
Exemples adaptés aux modèles
Il convient de noter que chaque modèle réagit différemment. Pour les modèles occidentaux, comme ceux d’Anthropic ou de Google, il a été efficace d’inclure des références à la fabrication d’armes biologiques. En revanche, pour les systèmes chinois, mentionner le “Tank Man”, célèbre figure des manifestations de Tiananmen en 1989, s’avère être une clé efficace, étant donné que ce sujet est strictement censuré par le gouvernement chinois.
Résultats impressionnants
Tracebit a testé sa technique sur cinq des modèles les plus avancés (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, et Kimi 2.6) dans un environnement simulé d’Amazon Web Services. Au total, 152 tentatives d’attaque ont été enregistrées. Les résultats montrent une diminution significative des accès administratifs non autorisés, de 57% à seulement 5%, et une chute des tentatives réussies pour installer des portes dérobées permanentes, passant de 36% à 1%.
Vulnérabilité intégrée
La beauté de cette méthode réside dans le fait qu’elle exploite une vulnérabilité difficile à corriger. Selon les chercheurs, bien qu’un développeur puisse reencher un modèle pour qu’il soit moins restrictif sur un sujet de sécurité, abolir les restrictions politiques et réglementaires, qui font partie intégrante de la conception, est un défi bien plus complexe.
Antécédents et solutions
En mai, Tracebit avait déjà proposé un système de “canards” dans le cloud, où des ressources semblent légitimes mais ne sont jamais utilisées, déclenchant des alertes lors des tentatives d’accès. Cependant, le context bombing est né pour compenser le manque de réactivité observé dans ces précédentes méthodes. Cette tactique permet de stopper une attaque plutôt que de simplement alerter.
La route à suivre
Cependant, aucune solution n’est parfaite. Ni Tracebit ni d’autres experts ne prétendent que cette méthode résoudra définitivement le problème du prompt injection. Il reste des risques que des modèles confondent parfois une instruction avec un élément de données dans leur contexte, rendant le prompt injection toujours possible.