Google ha anunciado que está ampliando su programa de recompensas por vulnerabilidad (VRP) para recompensar a los investigadores por encontrar escenarios de ataque adaptados a sistemas de inteligencia artificial (IA) generativa en un esfuerzo por reforzar la seguridad de la IA.
«La IA generativa plantea preocupaciones nuevas y diferentes a las de la seguridad digital tradicional, como la posibilidad de sesgos injustos, manipulación de modelos o interpretaciones erróneas de los datos (alucinaciones)», Laurie Richardson y Royal Hansen de Google. dicho.
Algunas de las categorías que están dentro del alcance. incluir inyecciones rápidas, fuga de datos confidenciales de conjuntos de datos de entrenamiento, manipulación de modelos, ataques de perturbación adversarios que desencadenan clasificaciones erróneas y robo de modelos.
Vale la pena señalar que Google a principios de julio instituyó una Equipo rojo de IA para ayudar a abordar las amenazas a los sistemas de IA como parte de su Marco Seguro de IA (SAIF).
También se anunciaron como parte de su compromiso con la seguridad de la IA los esfuerzos para fortalecer la cadena de suministro de IA a través de iniciativas de seguridad de código abierto existentes, como Supply Chain Levels for Software Artifacts (SLSA) y Sigstore.
«Firmas digitales, como las de Sigstore, que permiten a los usuarios verificar que el software no fue manipulado ni reemplazado», Google dicho.
«Metadatos como la procedencia de SLSA que nos dicen qué hay en el software y cómo se creó, lo que permite a los consumidores garantizar la compatibilidad de las licencias, identificar vulnerabilidades conocidas y detectar amenazas más avanzadas».
El desarrollo viene como OpenAI. desvelado un nuevo equipo interno de preparación para «rastrear, evaluar, pronosticar y proteger» contra riesgos catastróficos para la IA generativa que abarca amenazas de ciberseguridad, químicas, biológicas, radiológicas y nucleares (QBRN).
Las dos empresas, junto con Anthropic y Microsoft, también han anunciado la creación de un Fondo de seguridad de IA de 10 millones de dólarescentrado en promover la investigación en el campo de la seguridad de la IA.