{"id":1732502,"date":"2025-05-23T22:52:23","date_gmt":"2025-05-23T22:52:23","guid":{"rendered":"https:\/\/teknomers.com\/es\/vulnerabilidad-del-duo-gitlab-habilito-a-los-atacantes-para-secuestrar-respuestas-de-ai-con-indicaciones-ocultas\/"},"modified":"2025-05-23T22:52:29","modified_gmt":"2025-05-23T22:52:29","slug":"vulnerabilidad-del-duo-gitlab-habilito-a-los-atacantes-para-secuestrar-respuestas-de-ai-con-indicaciones-ocultas","status":"publish","type":"post","link":"https:\/\/teknomers.com\/es\/vulnerabilidad-del-duo-gitlab-habilito-a-los-atacantes-para-secuestrar-respuestas-de-ai-con-indicaciones-ocultas\/","title":{"rendered":"Vulnerabilidad del d\u00fao Gitlab habilit\u00f3 a los atacantes para secuestrar respuestas de AI con indicaciones ocultas"},"content":{"rendered":"


\n<\/p>\n

\n
<\/a><\/div>\n

Los investigadores de ciberseguridad han descubierto una falla indirecta de inyecci\u00f3n inmediata en el d\u00fao asistente de inteligencia artificial (IA) de Gitlab que podr\u00eda haber permitido a los atacantes robar el c\u00f3digo fuente e inyectar HTML no confiable en sus respuestas, lo que podr\u00eda usarse para dirigir a las v\u00edctimas a sitios web maliciosos.<\/p>\n

D\u00fao de gitlab<\/a> es una inteligencia artificial (IA) asistente de codificaci\u00f3n<\/a> Eso permite a los usuarios escribir, revisar y editar c\u00f3digo. Construido con los modelos Claude de Anthrope, el servicio se lanz\u00f3 por primera vez en junio de 2023.<\/p>\n

Pero como seguridad leg\u00edtima encontr\u00f3<\/a>Gitlab Duo Chat ha sido susceptible a una falla indirecta de inyecci\u00f3n inmediata que permite a los atacantes “robar c\u00f3digo fuente de proyectos privados, manipular las sugerencias de c\u00f3digo que se muestran a otros usuarios e incluso exfiltrar vulnerabilidades de d\u00eda cero confidenciales, no reveladas”.<\/p>\n

La inyecci\u00f3n inmediata se refiere a una clase de vulnerabilidades comunes en los sistemas de IA que permiten a los actores de amenaza armarse modelos de idiomas grandes (LLM) a manipular las respuestas<\/a> a las indicaciones de los usuarios y dan como resultado un comportamiento indeseable.<\/p>\n

Inyecciones indirectas indirectas<\/a> \u00e1rea mucho m\u00e1s complicado<\/a> En ese momento, en lugar de proporcionar una entrada dise\u00f1ada directamente, las instrucciones deshonestas est\u00e1n integradas dentro de otro contexto, como un documento o una p\u00e1gina web, que el modelo est\u00e1 dise\u00f1ado para procesar.<\/p>\n

\"Ciberseguridad\"<\/a><\/center><\/div>\n

Estudios recientes han demostrado que los LLM tambi\u00e9n son vulnerables a t\u00e9cnicas de ataque de jailbreak<\/a> que lo hacen posible<\/a> para enga\u00f1ar a los chatbots impulsados \u200b\u200bpor la IA para generar informaci\u00f3n da\u00f1ina e ilegal que ignora sus barandillas \u00e9ticas y de seguridad<\/a>obviando efectivamente la necesidad de indicaciones cuidadosamente elaboradas.<\/p>\n

Adem\u00e1s, los m\u00e9todos de fuga inmediata (plereak) podr\u00edan usarse para revelar inadvertidamente las indicaciones o instrucciones del sistema preestablecido que el modelo debe seguir.<\/p>\n

“Para las organizaciones, esto significa que se puede filtrar informaci\u00f3n privada, como reglas internas, funcionalidades, criterios de filtrado, permisos y roles de usuario,”, Trend Micro dicho<\/a> En un informe publicado a principios de este mes. “Esto podr\u00eda brindar a los atacantes oportunidades para explotar las debilidades del sistema, lo que potencialmente conduce a violaciones de datos, divulgaci\u00f3n de secretos comerciales, violaciones regulatorias y otros resultados desfavorables”.<\/p>\n\n\n\n\n
\"Vulnerabilidad<\/a><\/td>\n<\/tr>\n
Demostraci\u00f3n de ataque de plegamiento: exceso de credencial \/ exposici\u00f3n de la funcionalidad sensible<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Los \u00faltimos hallazgos de la firma de seguridad de la cadena de suministro de software israel\u00ed muestran que un comentario oculto colocado en cualquier lugar dentro de las solicitudes de fusi\u00f3n, mensajes de confirmaci\u00f3n, descripciones de problemas o comentarios y el c\u00f3digo fuente fue suficiente para filtrar datos confidenciales o inyectar HTML en las respuestas de GitLab Duo.<\/p>\n

Estas indicaciones podr\u00edan ocultarse a\u00fan m\u00e1s utilizando trucos de codificaci\u00f3n como Base16-codificaci\u00f3n, contrabando unicode y Katex en texto blanco para que sean menos detectables. La falta de desinfecci\u00f3n de insumos y el hecho de que Gitlab no tratara ninguno de estos escenarios con m\u00e1s escrutinio que el c\u00f3digo fuente podr\u00eda haber permitido a un mal actor plantar las indicaciones en todo el sitio.<\/p>\n

\"Vulnerabilidad<\/a><\/div>\n

“Duo analiza todo el contexto de la p\u00e1gina, incluidos comentarios, descripciones y el c\u00f3digo fuente, lo que lo hace vulnerable a las instrucciones inyectadas ocultas en cualquier lugar de ese contexto”, dijo el investigador de seguridad Omer Mayraz.<\/p>\n

Esto tambi\u00e9n significa que un atacante podr\u00eda enga\u00f1ar al sistema AI para incluir un paquete malicioso de JavaScript en un c\u00f3digo sintetizado, o presentar una URL maliciosa como segura, lo que hace que la v\u00edctima sea redirigida a una p\u00e1gina de inicio de sesi\u00f3n falsa que recolecta sus credenciales. <\/p>\n

Adem\u00e1s de eso, aprovechando la capacidad de Gitlab Duo Chat para acceder a la informaci\u00f3n sobre solicitudes de fusi\u00f3n espec\u00edficas y el c\u00f3digo cambia dentro de ellas, la seguridad leg\u00edtima descubri\u00f3 que es posible insertar un mensaje oculto en una descripci\u00f3n de solicitud de fusi\u00f3n para un proyecto que, cuando es procesado por DUO, hace que el c\u00f3digo fuente privado se extienda a un servidor de atacantes con atacantes.<\/p>\n

Esto, a su vez, es posible debido al uso de la representaci\u00f3n de la reducci\u00f3n de la transmisi\u00f3n para interpretar y hacer las respuestas en HTML a medida que se genera la salida. En otras palabras, alimentarlo con c\u00f3digo HTML a trav\u00e9s de la inyecci\u00f3n indirecta de inmediato podr\u00eda hacer que el segmento de c\u00f3digo se ejecute en el navegador del usuario.<\/p>\n

Despu\u00e9s de la divulgaci\u00f3n responsable el 12 de febrero de 2025, los problemas han sido dirigido<\/a> por Gitlab.<\/p>\n

“Esta vulnerabilidad destaca la naturaleza de doble filo de los asistentes de IA como Gitlab Duo: cuando se integran profundamente en los flujos de trabajo de desarrollo, heredan no solo el contexto, sino el riesgo”, dijo Mayraz.<\/p>\n

“Al integrar las instrucciones ocultas en el contenido de proyectos aparentemente inofensivos, pudimos manipular el comportamiento del d\u00fao, exfiltrar el c\u00f3digo fuente privado y demostrar c\u00f3mo las respuestas de AI pueden aprovecharse para obtener resultados no intencionados y da\u00f1inos”.<\/p>\n

\"Ciberseguridad\"<\/a><\/center><\/div>\n

La divulgaci\u00f3n se produce como Pen Test Partners revel\u00f3<\/a> c\u00f3mo Copilot de Microsoft para SharePoint<\/a>o agentes de SharePoint, podr\u00edan ser explotados por atacantes locales para acceder a datos y documentaci\u00f3n confidenciales, Incluso de archivos<\/a> que tienen el privilegio de “visi\u00f3n restringida”.<\/p>\n

“Uno de los principales beneficios es que podemos buscar y arrastrar a trav\u00e9s de conjuntos de datos masivos, como los sitios de SharePoint de grandes organizaciones, en poco tiempo”, dijo la compa\u00f1\u00eda. “Esto puede aumentar dr\u00e1sticamente las posibilidades de encontrar informaci\u00f3n que nos sea \u00fatil”.<\/p>\n

Las t\u00e9cnicas de ataque siguen una nueva investigaci\u00f3n que Elizaos<\/a> (anteriormente AI16Z), un marco de agente de IA descentralizado naciente para las operaciones Web3 automatizadas, podr\u00eda manipularse inyectando instrucciones maliciosas en indicaciones o registros de interacci\u00f3n hist\u00f3rica, corrompiendo efectivamente el contexto almacenado y conduciendo a transferencias de activos involuntarias.<\/p>\n

“Las implicaciones de esta vulnerabilidad son particularmente graves dado que los elizaosagentes est\u00e1n dise\u00f1ados para interactuar con m\u00faltiples usuarios simult\u00e1neamente, dependiendo de los aportes contextuales compartidos de todos los participantes”, un grupo de acad\u00e9micos de Princeton University University escribi\u00f3<\/a> en un papel.<\/p>\n

\"\"<\/a><\/div>\n

“Una sola manipulaci\u00f3n exitosa de un actor malicioso puede comprometer la integridad de todo el sistema, creando efectos en cascada que son dif\u00edciles de detectar y mitigar”.<\/p>\n

Aparte de las inyecciones y jailbreaks, otro problema importante enfermo de LLM en la actualidad es la alucinaci\u00f3n, que ocurre cuando los modelos generan respuestas que no se basan en los datos de entrada o simplemente se fabrican. <\/p>\n

Seg\u00fan un nuevo estudio publicado por la compa\u00f1\u00eda de pruebas de IA Giskard, instruir a los LLM para que sean concisos en sus respuestas puede afectar negativamente la facturidad y empeorar las alucinaciones.<\/p>\n

“Este efecto parece ocurrir porque las refutaciones efectivas generalmente requieren explicaciones m\u00e1s largas”, dicho<\/a>. “Cuando se ve obligado a ser conciso, los modelos enfrentan una elecci\u00f3n imposible entre fabricar respuestas cortas pero inexactas o parecer in\u00fatil al rechazar la pregunta por completo”.<\/p>\n

\u00bfEncontr\u00f3 este art\u00edculo interesante? S\u00e9guenos Gorjeo \uf099<\/i><\/a> y LinkedIn<\/a> Para leer m\u00e1s contenido exclusivo que publicamos.<\/div>\n<\/div>\n