Los investigadores de ciberseguridad han arrojado luz sobre una nueva t\u00e9cnica de confrontaci\u00f3n que podr\u00eda usarse para liberar modelos de lenguaje grandes (LLM) durante el curso de una conversaci\u00f3n interactiva al introducir furtivamente una instrucci\u00f3n indeseable entre los benignos.<\/p>\n
El enfoque recibi\u00f3 el nombre en c\u00f3digo Deceived Delight de la Unidad 42 de Palo Alto Networks, que lo describi\u00f3 como simple y efectivo, logrando una tasa de \u00e9xito de ataque (ASR) promedio del 64,6 % en tres turnos de interacci\u00f3n.<\/p>\n
“Deceived Delight es una t\u00e9cnica de m\u00faltiples turnos que involucra a grandes modelos de lenguaje (LLM) en una conversaci\u00f3n interactiva, evitando gradualmente sus barreras de seguridad y provocando que generen contenido inseguro o da\u00f1ino”, dijeron Jay Chen y Royce Lu de Unit 42.<\/p>\n
Tambi\u00e9n es un poco diferente de los m\u00e9todos de jailbreak de m\u00faltiples turnos (tambi\u00e9n conocidos como jailbreak de m\u00faltiples disparos) como Crescendo, en los que temas inseguros o restringidos se intercalan entre instrucciones inocuas, en lugar de llevar gradualmente al modelo a producir resultados da\u00f1inos. <\/p>\n
Investigaciones recientes tambi\u00e9n han profundizado en lo que se llama Context Fusion Attack (CFA), un m\u00e9todo de jailbreak de caja negra que es capaz de eludir la red de seguridad de un LLM.<\/p>\n
![\"Ciberseguridad\"](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2024\/10\/Investigadores-revelan-un-metodo-de-deleite-enganoso-para-hacer-jailbreak.png\")
<\/a><\/center><\/div>\n“Este m\u00e9todo implica filtrar y extraer t\u00e9rminos clave del objetivo, construir escenarios contextuales en torno a estos t\u00e9rminos, integrar din\u00e1micamente el objetivo en los escenarios, reemplazar t\u00e9rminos clave maliciosos dentro del objetivo y, por lo tanto, ocultar la intenci\u00f3n maliciosa directa”, dijo un grupo de investigadores. de la Universidad de Xidian y el Laboratorio de Seguridad de 360 \u200b\u200bAI dicho<\/a> en un art\u00edculo publicado en agosto de 2024.<\/p>\n Deceived Delight est\u00e1 dise\u00f1ado para aprovechar las debilidades inherentes de un LLM manipulando el contexto dentro de dos turnos conversacionales, enga\u00f1\u00e1ndolo para que sin darse cuenta obtenga contenido inseguro. Agregar un tercer giro tiene el efecto de aumentar la gravedad y el detalle del resultado da\u00f1ino.<\/p>\n Esto implica explotar la capacidad de atenci\u00f3n limitada del modelo, que se refiere a su capacidad para procesar y retener la conciencia contextual a medida que genera respuestas.<\/p>\n “Cuando los LLM encuentran indicaciones que combinan contenido inofensivo con material potencialmente peligroso o da\u00f1ino, su capacidad de atenci\u00f3n limitada hace que sea dif\u00edcil evaluar consistentemente todo el contexto”, explicaron los investigadores.<\/p>\n “En pasajes complejos o largos, el modelo puede priorizar los aspectos benignos mientras pasa por alto o malinterpreta los inseguros. Esto refleja c\u00f3mo una persona podr\u00eda pasar por alto advertencias importantes pero sutiles en un informe detallado si su atenci\u00f3n est\u00e1 dividida”.<\/p>\n La unidad 42 lo dijo. probado<\/a> ocho modelos de IA que utilizan 40 temas inseguros en seis categor\u00edas amplias, como odio, acoso, autolesi\u00f3n, sexual, violencia y peligro, y descubrieron que los temas inseguros en la categor\u00eda de violencia tienden a tener el ASR m\u00e1s alto en la mayor\u00eda de los modelos.<\/p>\n Adem\u00e1s de eso, se ha descubierto que el puntaje de nocividad (HS) y el puntaje de calidad (QS) promedio aumentan en un 21% y un 33%, respectivamente, del turno dos al tres, y el tercer turno tambi\u00e9n logra el ASR m\u00e1s alto de todos. modelos.<\/p>\n Para mitigar el riesgo que plantea Deceived Delight, se recomienda adoptar una estrategia s\u00f3lida estrategia de filtrado de contenidos<\/a>utilice ingenier\u00eda r\u00e1pida para mejorar la resiliencia de los LLM y defina expl\u00edcitamente el rango aceptable de entradas y salidas.<\/p>\n “Estos hallazgos no deben verse como evidencia de que la IA sea inherentemente insegura o insegura”, dijeron los investigadores. “M\u00e1s bien, enfatizan la necesidad de estrategias de defensa de m\u00faltiples capas para mitigar los riesgos de jailbreak y al mismo tiempo preservar la utilidad y flexibilidad de estos modelos”.<\/p>\n Es poco probable que los LLM alguna vez sean completamente inmunes a los jailbreaks y alucinaciones, ya que nuevos estudios han demostrado que los modelos de IA generativa son susceptibles a una forma de “confusi\u00f3n de paquetes” en la que podr\u00edan recomendar paquetes inexistentes a los desarrolladores.<\/p>\n Esto podr\u00eda tener el desafortunado efecto secundario de alimentar ataques a la cadena de suministro de software cuando actores maliciosos generan paquetes alucinados, los siembran con malware y los env\u00edan a repositorios de c\u00f3digo abierto.<\/p>\n “El porcentaje promedio de paquetes alucinados es al menos del 5,2% para los modelos comerciales y del 21,7% para los modelos de c\u00f3digo abierto, incluidos 205.474 ejemplos \u00fanicos de nombres de paquetes alucinados, lo que subraya a\u00fan m\u00e1s la gravedad y la omnipresencia de esta amenaza”, afirman los investigadores. dicho<\/a>.<\/p>\n <\/p>\n<\/a><\/div>\n<\/a><\/center><\/div>\n