Google a annoncé l’extension de son programme Vulnerability Rewards (VRP) pour rémunérer les chercheurs qui ont trouvé des scénarios d’attaque adaptés aux systèmes d’intelligence artificielle (IA) générative dans le but de renforcer la sûreté et la sécurité de l’IA.
« L’IA générative soulève des préoccupations nouvelles et différentes de celles de la sécurité numérique traditionnelle, telles que le potentiel de biais injuste, de manipulation de modèles ou d’interprétations erronées des données (hallucinations) », Laurie Richardson et Royal Hansen de Google. dit.
Certaines des catégories concernées inclure injections rapides, fuite de données sensibles à partir d’ensembles de données d’entraînement, manipulation de modèles, attaques de perturbation contradictoires qui déclenchent une mauvaise classification et vol de modèle.
Il convient de noter que Google a institué au début du mois de juillet un Équipe rouge IA pour aider à lutter contre les menaces pesant sur les systèmes d’IA dans le cadre de son Secure AI Framework (SAIF).
Dans le cadre de son engagement en faveur de la sécurisation de l’IA, des efforts visant à renforcer la chaîne d’approvisionnement de l’IA via des initiatives de sécurité open source existantes telles que Supply Chain Levels for Software Artifacts (SLSA) et Sigstore ont également été annoncés.
« Des signatures numériques, comme celles de Sigstore, qui permettent aux utilisateurs de vérifier que le logiciel n’a pas été falsifié ou remplacé », Google dit.
« Des métadonnées telles que la provenance SLSA qui nous indiquent le contenu du logiciel et comment il a été construit, permettant aux consommateurs de garantir la compatibilité des licences, d’identifier les vulnérabilités connues et de détecter les menaces plus avancées.
Le développement intervient sous le nom d’OpenAI dévoilé une nouvelle équipe interne de préparation pour « suivre, évaluer, prévoir et protéger » contre les risques catastrophiques liés à l’IA générative couvrant les menaces de cybersécurité, chimiques, biologiques, radiologiques et nucléaires (CBRN).
Les deux sociétés, aux côtés d’Anthropic et Microsoft, ont également annoncé la création d’un Fonds de sécurité de l’IA de 10 millions de dollarsaxé sur la promotion de la recherche dans le domaine de la sécurité de l’IA.