Los investigadores de ciberseguridad han descubierto que es posible comprometer el servicio de conversión de Hugging Face Safetensors para, en última instancia, secuestrar los modelos enviados por los usuarios y provocar ataques a la cadena de suministro.
«Es posible enviar solicitudes de extracción maliciosas con datos controlados por atacantes desde el servicio Hugging Face a cualquier repositorio de la plataforma, así como secuestrar cualquier modelo que se envíe a través del servicio de conversión», HiddenLayer dicho en un informe publicado la semana pasada.
Esto, a su vez, se puede lograr utilizando un modelo secuestrado que debe ser convertido por el servicio, permitiendo así a actores maliciosos solicitar cambios en cualquier repositorio de la plataforma haciéndose pasar por el robot de conversión.
Hugging Face es una plataforma de colaboración popular que ayuda a los usuarios a alojar modelos y conjuntos de datos de aprendizaje automático previamente entrenados, así como a construirlos, implementarlos y entrenarlos.
Los tensores de seguridad son un formato ideado por la empresa para almacenar tensores teniendo en cuenta la seguridad, a diferencia de los encurtidos, que ha sido probablemente armado por actores de amenazas para ejecutar código arbitrario e implementar stagers Cobalt Strike, Mythic y Metasploit.
También viene con un servicio de conversión que permite a los usuarios convertir cualquier modelo de PyTorch (es decir, pepinillo) a su equivalente Safetensor mediante una solicitud de extracción.
El análisis de HiddenLayer de este módulo encontró que es hipotéticamente posible que un atacante se apodere del servicio de conversión alojado utilizando un binario PyTorch malicioso y comprometa el sistema que lo aloja.
Es más, el token asociado con SFConvertbot (un bot oficial diseñado para generar la solicitud de extracción) podría ser filtrado para enviar una solicitud de extracción maliciosa a cualquier repositorio del sitio, lo que llevaría a un escenario en el que un actor de amenazas podría alterar el modelo e implantar puertas traseras neuronales.
«Un atacante podría ejecutar cualquier código arbitrario cada vez que alguien intentara convertir su modelo», señalaron los investigadores Eoin Wickens y Kasimir Schulz. «Sin ninguna indicación al usuario, sus modelos podrían ser secuestrados durante la conversión».
Si un usuario intenta convertir su propio repositorio privado, el ataque podría allanar el camino para el robo de su token Hugging Face, acceder a modelos y conjuntos de datos internos e incluso envenenarlos.
Para complicar aún más las cosas, un adversario podría aprovechar el hecho de que cualquier usuario puede enviar una solicitud de conversión a un repositorio público para secuestrar o alterar un modelo ampliamente utilizado, lo que podría generar un riesgo considerable para la cadena de suministro.
«A pesar de las mejores intenciones de proteger los modelos de aprendizaje automático en el ecosistema de Hugging Face, el servicio de conversión ha demostrado ser vulnerable y tiene el potencial de causar un ataque generalizado a la cadena de suministro a través del servicio oficial de Hugging Face», dijeron los investigadores.
«Un atacante podría afianzarse en el contenedor que ejecuta el servicio y comprometer cualquier modelo convertido por el servicio».
El desarrollo se produce poco más de un mes después de que Trail of Bits revelara LeftoverLocals (CVE-2023-4969puntuación CVSS: 6,5), una vulnerabilidad que permite la recuperación de datos de unidades de procesamiento de gráficos de propósito general (GPGPU) de Apple, Qualcomm, AMD e Imagination.
El falla de pérdida de memoriaque surge de una falla al aislar adecuadamente la memoria del proceso, permite a un atacante local leer la memoria de otros procesos, incluida la sesión interactiva de otro usuario con un modelo de lenguaje grande (LLM).
«Esta filtración de datos puede tener graves consecuencias para la seguridad, especialmente dado el aumento de los sistemas de aprendizaje automático, donde se utiliza la memoria local para almacenar entradas, salidas y pesos de los modelos», afirman los investigadores de seguridad Tyler Sorensen y Heidy Khlaaf. dicho.