Google a développé un nouveau framework appelé Projet Naptime cela, selon lui, permet à un grand modèle de langage (LLM) d’effectuer des recherches de vulnérabilité dans le but d’améliorer les approches de découverte automatisées.
« L’architecture Naptime est centrée sur l’interaction entre un agent IA et une base de code cible », ont déclaré Sergei Glazunov et Mark Brand, chercheurs de Google Project Zero. dit. « L’agent dispose d’un ensemble d’outils spécialisés conçus pour imiter le flux de travail d’un chercheur en sécurité humaine. »
L’initiative doit son nom au fait qu’elle permet aux humains de « faire des siestes régulières » tout en contribuant à la recherche de vulnérabilités et à l’automatisation de l’analyse des variantes.
L’approche, à la base, cherche à tirer parti des progrès en matière de compréhension du code et de capacité de raisonnement général des LLM, leur permettant ainsi de reproduire le comportement humain lorsqu’il s’agit d’identifier et de démontrer des vulnérabilités de sécurité.
Il comprend plusieurs composants tels qu’un outil Code Browser qui permet à l’agent IA de naviguer dans la base de code cible, un outil Python pour exécuter des scripts Python dans un environnement sandbox pour le fuzzing, un outil Debugger pour observer le comportement du programme avec différentes entrées et un Reporter. outil pour suivre l’avancement d’une tâche.
Google a déclaré que Naptime est également indépendant du modèle et du backend, sans parler du fait qu’il est meilleur pour signaler les débordements de tampon et les failles avancées de corruption de mémoire, selon les benchmarks CYBERSECEVAL 2. CYBERSECEVAL 2, publié plus tôt en avril par des chercheurs de Meta, est un suite d’évaluation pour quantifier les risques de sécurité du LLM.
Lors des tests effectués par le géant de la recherche pour reproduire et exploiter les failles, les deux catégories de vulnérabilités ont obtenu de nouveaux scores élevés de 1,00 et 0,76, contre respectivement 0,05 et 0,24 pour OpenAI GPT-4 Turbo.
« Naptime permet à un LLM d’effectuer des recherches sur les vulnérabilités qui imitent fidèlement l’approche itérative et fondée sur des hypothèses des experts en sécurité humaine », ont déclaré les chercheurs. « Cette architecture améliore non seulement la capacité de l’agent à identifier et analyser les vulnérabilités, mais garantit également que les résultats sont précis et reproductibles. »