Los investigadores de ciberseguridad han descubierto una falla indirecta de inyección inmediata en el dúo asistente de inteligencia artificial (IA) de Gitlab que podría haber permitido a los atacantes robar el código fuente e inyectar HTML no confiable en sus respuestas, lo que podría usarse para dirigir a las víctimas a sitios web maliciosos.
Dúo de gitlab es una inteligencia artificial (IA) asistente de codificación Eso permite a los usuarios escribir, revisar y editar código. Construido con los modelos Claude de Anthrope, el servicio se lanzó por primera vez en junio de 2023.
Pero como seguridad legítima encontróGitlab Duo Chat ha sido susceptible a una falla indirecta de inyección inmediata que permite a los atacantes “robar código fuente de proyectos privados, manipular las sugerencias de código que se muestran a otros usuarios e incluso exfiltrar vulnerabilidades de día cero confidenciales, no reveladas”.
La inyección inmediata se refiere a una clase de vulnerabilidades comunes en los sistemas de IA que permiten a los actores de amenaza armarse modelos de idiomas grandes (LLM) a manipular las respuestas a las indicaciones de los usuarios y dan como resultado un comportamiento indeseable.
Inyecciones indirectas indirectas área mucho más complicado En ese momento, en lugar de proporcionar una entrada diseñada directamente, las instrucciones deshonestas están integradas dentro de otro contexto, como un documento o una página web, que el modelo está diseñado para procesar.
Estudios recientes han demostrado que los LLM también son vulnerables a técnicas de ataque de jailbreak que lo hacen posible para engañar a los chatbots impulsados por la IA para generar información dañina e ilegal que ignora sus barandillas éticas y de seguridadobviando efectivamente la necesidad de indicaciones cuidadosamente elaboradas.
Además, los métodos de fuga inmediata (plereak) podrían usarse para revelar inadvertidamente las indicaciones o instrucciones del sistema preestablecido que el modelo debe seguir.
“Para las organizaciones, esto significa que se puede filtrar información privada, como reglas internas, funcionalidades, criterios de filtrado, permisos y roles de usuario,”, Trend Micro dicho En un informe publicado a principios de este mes. “Esto podría brindar a los atacantes oportunidades para explotar las debilidades del sistema, lo que potencialmente conduce a violaciones de datos, divulgación de secretos comerciales, violaciones regulatorias y otros resultados desfavorables”.
 |
| Demostración de ataque de plegamiento: exceso de credencial / exposición de la funcionalidad sensible |
Los últimos hallazgos de la firma de seguridad de la cadena de suministro de software israelí muestran que un comentario oculto colocado en cualquier lugar dentro de las solicitudes de fusión, mensajes de confirmación, descripciones de problemas o comentarios y el código fuente fue suficiente para filtrar datos confidenciales o inyectar HTML en las respuestas de GitLab Duo.
Estas indicaciones podrían ocultarse aún más utilizando trucos de codificación como Base16-codificación, contrabando unicode y Katex en texto blanco para que sean menos detectables. La falta de desinfección de insumos y el hecho de que Gitlab no tratara ninguno de estos escenarios con más escrutinio que el código fuente podría haber permitido a un mal actor plantar las indicaciones en todo el sitio.
“Duo analiza todo el contexto de la página, incluidos comentarios, descripciones y el código fuente, lo que lo hace vulnerable a las instrucciones inyectadas ocultas en cualquier lugar de ese contexto”, dijo el investigador de seguridad Omer Mayraz.
Esto también significa que un atacante podría engañar al sistema AI para incluir un paquete malicioso de JavaScript en un código sintetizado, o presentar una URL maliciosa como segura, lo que hace que la víctima sea redirigida a una página de inicio de sesión falsa que recolecta sus credenciales.
Además de eso, aprovechando la capacidad de Gitlab Duo Chat para acceder a la información sobre solicitudes de fusión específicas y el código cambia dentro de ellas, la seguridad legítima descubrió que es posible insertar un mensaje oculto en una descripción de solicitud de fusión para un proyecto que, cuando es procesado por DUO, hace que el código fuente privado se extienda a un servidor de atacantes con atacantes.
Esto, a su vez, es posible debido al uso de la representación de la reducción de la transmisión para interpretar y hacer las respuestas en HTML a medida que se genera la salida. En otras palabras, alimentarlo con código HTML a través de la inyección indirecta de inmediato podría hacer que el segmento de código se ejecute en el navegador del usuario.
Después de la divulgación responsable el 12 de febrero de 2025, los problemas han sido dirigido por Gitlab.
“Esta vulnerabilidad destaca la naturaleza de doble filo de los asistentes de IA como Gitlab Duo: cuando se integran profundamente en los flujos de trabajo de desarrollo, heredan no solo el contexto, sino el riesgo”, dijo Mayraz.
“Al integrar las instrucciones ocultas en el contenido de proyectos aparentemente inofensivos, pudimos manipular el comportamiento del dúo, exfiltrar el código fuente privado y demostrar cómo las respuestas de AI pueden aprovecharse para obtener resultados no intencionados y dañinos”.
La divulgación se produce como Pen Test Partners reveló cómo Copilot de Microsoft para SharePointo agentes de SharePoint, podrían ser explotados por atacantes locales para acceder a datos y documentación confidenciales, Incluso de archivos que tienen el privilegio de “visión restringida”.
“Uno de los principales beneficios es que podemos buscar y arrastrar a través de conjuntos de datos masivos, como los sitios de SharePoint de grandes organizaciones, en poco tiempo”, dijo la compañía. “Esto puede aumentar drásticamente las posibilidades de encontrar información que nos sea útil”.
Las técnicas de ataque siguen una nueva investigación que Elizaos (anteriormente AI16Z), un marco de agente de IA descentralizado naciente para las operaciones Web3 automatizadas, podría manipularse inyectando instrucciones maliciosas en indicaciones o registros de interacción histórica, corrompiendo efectivamente el contexto almacenado y conduciendo a transferencias de activos involuntarias.
“Las implicaciones de esta vulnerabilidad son particularmente graves dado que los elizaosagentes están diseñados para interactuar con múltiples usuarios simultáneamente, dependiendo de los aportes contextuales compartidos de todos los participantes”, un grupo de académicos de Princeton University University escribió en un papel.
“Una sola manipulación exitosa de un actor malicioso puede comprometer la integridad de todo el sistema, creando efectos en cascada que son difíciles de detectar y mitigar”.
Aparte de las inyecciones y jailbreaks, otro problema importante enfermo de LLM en la actualidad es la alucinación, que ocurre cuando los modelos generan respuestas que no se basan en los datos de entrada o simplemente se fabrican.
Según un nuevo estudio publicado por la compañía de pruebas de IA Giskard, instruir a los LLM para que sean concisos en sus respuestas puede afectar negativamente la facturidad y empeorar las alucinaciones.
“Este efecto parece ocurrir porque las refutaciones efectivas generalmente requieren explicaciones más largas”, dicho. “Cuando se ve obligado a ser conciso, los modelos enfrentan una elección imposible entre fabricar respuestas cortas pero inexactas o parecer inútil al rechazar la pregunta por completo”.
About the Author
