Investigadores de ciberseguridad han revelado dos fallas de seguridad en la plataforma de aprendizaje automático (ML) Vertex de Google que, si se explotan con éxito, podrían permitir a actores maliciosos escalar privilegios y exfiltrar modelos de la nube.
“Al explotar los permisos de trabajo personalizados, pudimos aumentar nuestros privilegios y obtener acceso no autorizado a todos los servicios de datos del proyecto”, dijeron los investigadores de la Unidad 42 de Palo Alto Networks, Ofir Balassiano y Ofir Shaty. dicho en un análisis publicado a principios de esta semana.
“La implementación de un modelo envenenado en Vertex AI provocó la exfiltración de todos los demás modelos ajustados, lo que plantea un grave riesgo de ataque de exfiltración de datos confidenciales y de propiedad privada”.
La IA de vértice es La plataforma de aprendizaje automático de Google para entrenar e implementar modelos de ML personalizados y aplicaciones de inteligencia artificial (IA) a escala. Se introdujo por primera vez en mayo de 2021.
Para aprovechar la falla de escalada de privilegios es crucial una característica llamada Canalizaciones de IA de Vertexque permite a los usuarios automatizar y monitorear los flujos de trabajo de MLOps para entrenar y ajustar modelos de ML mediante trabajos personalizados.
La investigación de la Unidad 42 encontró que al manipular la cartera de trabajos personalizados, es posible aumentar los privilegios para obtener acceso a recursos que de otro modo estarían restringidos. Esto se logra mediante la creación de un trabajo personalizado que ejecuta una imagen especialmente diseñada para iniciar un shell inverso, otorgando acceso de puerta trasera al entorno.
El trabajo personalizado, según el proveedor de seguridad, se ejecuta en un proyecto de inquilino con una cuenta de agente de servicio que tiene amplios permisos para enumerar todos cuentas de servicioadministrar depósitos de almacenamiento y acceder a tablas de BigQuery, de las que luego se podría abusar para acceder a los repositorios internos de Google Cloud y descargar imágenes.
La segunda vulnerabilidad, por otro lado, implica implementar un modelo envenenado en un proyecto de inquilino de modo que crea un shell inverso cuando se implementa en un punto final, abusando de los permisos de solo lectura de la cuenta de servicio de “predicción en línea personalizada” para enumerar Kubernetes agrupa y recupera sus credenciales para ejecutar comandos kubectl arbitrarios.
“Este paso nos permitió pasar del ámbito de GCP a Kubernetes”, dijeron los investigadores. “Este movimiento lateral fue posible porque los permisos entre GCP y GKE estaban vinculados a través de Federación de identidades de cargas de trabajo de IAM“.
El análisis encontró además que es posible hacer uso de este acceso para ver la imagen recién creada dentro del clúster de Kubernetes y obtener la resumen de imagen – que identifica de forma única una imagen de contenedor – usándolos para extraer las imágenes fuera del contenedor usando crítico con el token de autenticación asociado con la cuenta de servicio de “predicción en línea personalizada”.
Además de eso, el modelo malicioso también podría usarse como arma para ver y exportar todos los modelos en lenguajes grandes (LLM) y sus adaptadores ajustados de manera similar.
Esto podría tener graves consecuencias cuando un desarrollador, sin saberlo, implementa un modelo troyanizado subido a un repositorio público, lo que permite al actor de amenazas filtrar todo el aprendizaje automático y los LLM ajustados. Tras una comunicación responsable, Google ha solucionado ambas deficiencias.
“Esta investigación destaca cómo la implementación de un único modelo malicioso podría comprometer todo un entorno de IA”, dijeron los investigadores. “Un atacante podría utilizar incluso un modelo no verificado implementado en un sistema de producción para exfiltrar datos confidenciales, lo que provocaría graves ataques de exfiltración de modelos”.
Se recomienda a las organizaciones implementar controles estrictos sobre las implementaciones de modelos y los permisos de auditoría necesarios para implementar un modelo en proyectos de inquilinos.
El desarrollo se produce cuando 0Day Investigative Network (0Din) de Mozilla reveló que es posible interactuar con el entorno sandbox subyacente de OpenAI ChatGPT (“/home/sandbox/.openai_internal/”) a través de indicaciones, otorgando la capacidad de cargar y ejecutar scripts de Python, mover archivos. e incluso descargar el manual del LLM.
Dicho esto, vale la pena señalar que OpenAI considera tales interacciones como un comportamiento intencional o esperado, dado que la ejecución del código tiene lugar dentro de los límites del sandbox y es poco probable que se extienda.
“Para cualquiera que desee explorar la zona de pruebas ChatGPT de OpenAI, es crucial comprender que la mayoría de las actividades dentro de este entorno en contenedores son características previstas en lugar de brechas de seguridad”, dijo el investigador de seguridad Marco Figueroa. dicho.
“Extraer conocimientos, cargar archivos, ejecutar comandos bash o ejecutar código Python dentro del sandbox son juegos limpios, siempre y cuando no crucen las líneas invisibles del contenedor”.
About the Author
