Se han descubierto hasta 100 modelos maliciosos de inteligencia artificial (IA)\/aprendizaje autom\u00e1tico (ML) en la plataforma Hugging Face.<\/p>\n
Estos incluyen casos en los que cargar un archivo de pepinillo<\/a> conduce a la ejecuci\u00f3n de c\u00f3digo, dijo la firma de seguridad de la cadena de suministro de software JFrog.<\/p>\n “La carga \u00fatil del modelo otorga al atacante un caparaz\u00f3n en la m\u00e1quina comprometida, permiti\u00e9ndole obtener control total sobre las m\u00e1quinas de las v\u00edctimas a trav\u00e9s de lo que com\u00fanmente se conoce como ‘puerta trasera'”, dijo el investigador senior de seguridad David Cohen. dicho<\/a>.<\/p>\n “Esta infiltraci\u00f3n silenciosa podr\u00eda potencialmente otorgar acceso a sistemas internos cr\u00edticos y allanar el camino para violaciones de datos a gran escala o incluso espionaje corporativo, impactando no solo a usuarios individuales sino potencialmente a organizaciones enteras en todo el mundo, dejando a las v\u00edctimas completamente inconscientes de su estado comprometido. “.<\/p>\n Espec\u00edficamente, el modelo deshonesto inicia una conexi\u00f3n de shell inversa a 210.117.212[.]93, una direcci\u00f3n IP que pertenece a la Red Abierta del Entorno de Investigaci\u00f3n de Corea (KREONET). Se ha observado que otros repositorios con la misma carga \u00fatil se conectan a otras direcciones IP.<\/p>\n En un caso, los autores del modelo instaron a los usuarios a no descargarlo, planteando la posibilidad de que la publicaci\u00f3n sea obra de investigadores o profesionales de la IA.<\/p>\n “Sin embargo, un principio fundamental en la investigaci\u00f3n de seguridad es abstenerse de publicar exploits o c\u00f3digos maliciosos que funcionen realmente”, dijo JFrog. “Este principio se viol\u00f3 cuando el c\u00f3digo malicioso intent\u00f3 conectarse nuevamente a una direcci\u00f3n IP genuina”.<\/p>\n Los hallazgos subrayan una vez m\u00e1s la amenaza que acecha dentro de los repositorios de c\u00f3digo abierto, que podr\u00edan estar envenenados para actividades nefastas.<\/p>\n Tambi\u00e9n vienen como lo han hecho los investigadores. ideado<\/a> formas eficientes de generar indicaciones que pueden usarse para provocar respuestas da\u00f1inas de modelos en lenguaje grande (LLM) utilizando una t\u00e9cnica llamada ataque adversarial basado en b\u00fasqueda por haz (BEAST).<\/p>\n En un desarrollo relacionado, los investigadores de seguridad han desarrollado lo que se conoce como un gusano de IA generativa llamado Morris II que es capaz de robar datos y propagar malware a trav\u00e9s de m\u00faltiples sistemas.<\/p>\n Morris II, una vuelta de tuerca a uno de los gusanos inform\u00e1ticos m\u00e1s antiguos<\/a>aprovecha las indicaciones autorreplicantes del adversario codificadas en entradas como im\u00e1genes y texto que, cuando se procesan mediante modelos GenAI, pueden provocar que “replican la entrada como salida (replicaci\u00f3n) y participan en actividades maliciosas (carga \u00fatil)”, investigadores de seguridad Stav Cohen. , dijeron Ron Bitton y Ben Nassi.<\/p>\n Lo que es a\u00fan m\u00e1s preocupante es que los modelos pueden utilizarse como armas para enviar entradas maliciosas a nuevas aplicaciones explotando la conectividad dentro del ecosistema de IA generativa.<\/p>\n La t\u00e9cnica de ataque, denominada COMPROMETIDO<\/a>comparte similitudes con enfoques tradicionales como desbordamientos de b\u00fafer e inyecciones SQL debido al hecho de que incorpora el c\u00f3digo dentro de una consulta y datos en regiones que se sabe que contienen c\u00f3digo ejecutable.<\/p>\n ComPromptMized afecta a las aplicaciones cuyo flujo de ejecuci\u00f3n depende de la salida de un servicio de IA generativo, as\u00ed como a aquellas que utilizan generaci\u00f3n aumentada de recuperaci\u00f3n (TRAPO<\/a>), que combina modelos de generaci\u00f3n de texto con un componente de recuperaci\u00f3n de informaci\u00f3n para enriquecer las respuestas a las consultas.<\/p>\n El estudio no es el primero, ni ser\u00e1 el \u00faltimo, en explorar la idea de la inyecci\u00f3n r\u00e1pida como una forma de atacar a los LLM y enga\u00f1arlos para que realicen acciones no deseadas.<\/p>\n Anteriormente, los acad\u00e9micos han demostrado ataques que utilizan im\u00e1genes y grabaciones de audio para inyectar “perturbaciones adversas” invisibles en LLM multimodales que hacen que el modelo genere texto o instrucciones elegidos por el atacante.<\/p>\n “El atacante puede atraer a la v\u00edctima a una p\u00e1gina web con una imagen interesante o enviarle un correo electr\u00f3nico con un clip de audio”, dijo Nassi, junto con Eugene Bagdasaryan, Tsung-Yin Hsieh y Vitaly Shmatikov. dicho<\/a> en un art\u00edculo publicado a finales del a\u00f1o pasado.<\/p>\n “Cuando la v\u00edctima ingresa directamente la imagen o el clip en un LLM aislado y hace preguntas al respecto, el modelo ser\u00e1 dirigido por indicaciones inyectadas por el atacante”.<\/p>\n A principios del a\u00f1o pasado, un grupo de investigadores del Centro CISPA Helmholtz para la Seguridad de la Informaci\u00f3n de la Universidad de Saarland y Sequire Technology de Alemania tambi\u00e9n descubierto<\/a> c\u00f3mo un atacante podr\u00eda explotar los modelos LLM inyectando estrat\u00e9gicamente mensajes ocultos en los datos (es decir, inyecci\u00f3n de mensajes indirectos) que el modelo probablemente recuperar\u00eda al responder a la entrada del usuario.<\/p>\n <\/p>\n![\"La](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2024\/03\/Mas-de-100-modelos-maliciosos-de-IAML-encontrados-en-la.jpg\")
<\/a><\/center><\/div>\n<\/a><\/div>\nDe los riesgos de la cadena de suministro a los gusanos sin hacer clic<\/h2>\n
<\/a><\/div>\n<\/a><\/center><\/div>\n