Se han encontrado varios servicios generativos de inteligencia artificial (Genai) vulnerable a dos tipos de ataques de jailbreak que hacen posible producir contenido il\u00edcito o peligroso.<\/p>\n
La primera de las dos t\u00e9cnicas, el Inception de nombre en c\u00f3digo, instruye a una herramienta de IA para imaginar un escenario ficticio, que luego se puede adaptar a un segundo escenario dentro del primero en el que no existe que no exista barandillas de seguridad<\/a>.<\/p>\n “Continuar con la intenci\u00f3n de IA dentro del contexto de los segundos escenarios puede resultar en el derivaci\u00f3n de las barandillas de seguridad y permitir la generaci\u00f3n de contenido malicioso”, el Centro de Coordinaci\u00f3n CERT (CERT\/CC) dicho<\/a> en un aviso publicado la semana pasada.<\/p>\n El segundo jailbreak se realiza al pedir informaci\u00f3n sobre c\u00f3mo no responder a una solicitud espec\u00edfica. <\/p>\n “A la IA se puede obtener m\u00e1s que las solicitudes de responder de manera normal, y el atacante puede hacer un girar de un lado a otro entre preguntas il\u00edcitas que evitan las barandillas de seguridad y las indicaciones normales”, agreg\u00f3 CERT\/CC.<\/p>\n La explotaci\u00f3n exitosa de cualquiera de las t\u00e9cnicas podr\u00eda permitir que un mal actor evite las protecciones de seguridad y seguridad de varios servicios de IA como Operai Chatgpt, Anthrope Claude, Microsoft Copilot, Google Gemini, Xai Grok, Meta Ai y Mistral AI.<\/p>\n Esto incluye temas il\u00edcitos y da\u00f1inos, como sustancias controladas, armas, correos electr\u00f3nicos de phishing y generaci\u00f3n de c\u00f3digo de malware.<\/p>\n En los \u00faltimos meses, los principales sistemas de IA se han encontrado susceptibles a otros tres ataques,<\/p>\n La investigaci\u00f3n tambi\u00e9n ha demostrado que los LLM se pueden usar para producir un c\u00f3digo inseguro de forma predeterminada al proporcionar indicaciones ingenuas, subrayando las dificultades asociadas con la codificaci\u00f3n de vibos, que se refiere al uso de herramientas Genai para el desarrollo de software.<\/p>\n “Incluso al solicitar un c\u00f3digo seguro, realmente depende del nivel de detalle de la solicitud, los idiomas, la posible CWE y la especificidad de las instrucciones”, Security Back -savlash Security dicho<\/a>. “Ergo: tener barandillas incorporadas en forma de pol\u00edticas y reglas r\u00e1pidas es invaluable para lograr un c\u00f3digo consistentemente seguro”.<\/p>\n Adem\u00e1s, una evaluaci\u00f3n de seguridad y seguridad de GPT-4.1 de Opengai ha revelado que el LLM tiene tres veces m\u00e1s probabilidades de salirse del tema y permitir el mal uso intencional en comparaci\u00f3n con su predecesor GPT-4O sin modificar el indicador del sistema.<\/p>\n “Actualizar al \u00faltimo modelo no es tan simple como cambiar el par\u00e1metro del nombre del modelo en su c\u00f3digo”, SPLXAI dicho<\/a>. “Cada modelo tiene su propio conjunto \u00fanico de capacidades y vulnerabilidades que los usuarios deben tener en cuenta”.<\/p>\n “Esto es especialmente cr\u00edtico en casos como este, donde el \u00faltimo modelo interpreta y sigue las instrucciones de manera diferente a sus predecesores, introduciendo preocupaciones de seguridad inesperadas que afectan a las organizaciones que implementan aplicaciones con AI y los usuarios que interact\u00faan con ellos”.<\/p>\n Las preocupaciones sobre GPT-4.1 son menos de un mes despu\u00e9s de Openai renovado<\/a> Su marco de preparaci\u00f3n que detalla c\u00f3mo probar\u00e1 y evaluar\u00e1 modelos futuros antes del lanzamiento, afirmando que puede ajustar sus requisitos si “otro desarrollador de IA fronterista libera un sistema de alto riesgo sin salvaguardas comparables”.<\/p>\n Esto tambi\u00e9n ha provocado preocupaciones de que la compa\u00f1\u00eda de IA pueda estar apresurando nuevos lanzamientos de modelo a expensas de reducir los est\u00e1ndares de seguridad. Un informe del Financial Times a principios de este mes anotado<\/a> Ese OpenAi dio al personal y a los grupos de terceros menos de una semana por controles de seguridad antes del lanzamiento de su nuevo modelo O3. <\/p>\n El ejercicio de equipo rojo de Metr en el modelo tiene se muestra<\/a> Que “parece tener una mayor propensi\u00f3n a hacer trampa o piratear tareas de manera sofisticada para maximizar su puntaje, incluso cuando el modelo comprende claramente que este comportamiento est\u00e1 desalineado con las intenciones del usuario y OpenAi”.<\/p>\n Los estudios han demostrado adem\u00e1s que el protocolo de contexto modelo (MCP<\/a>), un est\u00e1ndar abierto ideado por antr\u00f3pico para conectar fuentes de datos y Herramientas con IA<\/a>podr\u00eda Abrir nuevos caminos de ataque<\/a> para inyecci\u00f3n indirecta de inmediato y acceso a datos no autorizado.<\/p>\n “Un malicioso [MCP] El servidor no solo puede exfiltrar los datos confidenciales del usuario, sino tambi\u00e9n secuestrar el comportamiento del agente y anular las instrucciones proporcionadas por otros servidores de confianza, lo que lleva a un compromiso completo de la funcionalidad del agente, incluso con respecto a la infraestructura de confianza “, los laboratorios invariantes con sede en Suiza dicho<\/a>.<\/p>\n El enfoque, conocido como un ataque de envenenamiento de herramientas, ocurre cuando las instrucciones maliciosas se integran dentro de las descripciones de herramientas MCP que son invisibles para los usuarios pero que se pueden legibles para los modelos de IA, manipul\u00e1ndolas para llevar a cabo actividades de exfiltraci\u00f3n de datos encubiertos.<\/p>\n En un ataque pr\u00e1ctico exhibido por la compa\u00f1\u00eda, los historiales de chat de WhatsApp pueden ser sifonado<\/a> de un sistema de agente como el cursor o el escritorio de Claude que tambi\u00e9n est\u00e1 conectado a una confianza Instancia del servidor de WhatsApp MCP<\/a> Alterando la descripci\u00f3n de la herramienta despu\u00e9s de que el usuario ya la haya aprobado.<\/p>\n Los desarrollos siguen el descubrimiento de una extensi\u00f3n sospechosa de Google Chrome que est\u00e1 dise\u00f1ada para comunicarse con un servidor MCP que ejecuta localmente en una m\u00e1quina y otorgar a los atacantes la capacidad de tomar el control del sistema, violando efectivamente las protecciones de Sandbox del navegador.<\/p>\n “La extensi\u00f3n de Chrome ten\u00eda acceso sin restricciones a las herramientas del servidor MCP, no se necesitaba autenticaci\u00f3n, y estaba interactuando con el sistema de archivos como si fuera una parte central de las capacidades expuestas del servidor”, ExtensionTotal dicho<\/a> en un informe la semana pasada.<\/p>\n “El impacto potencial de esto es masivo, abriendo la puerta a una explotaci\u00f3n maliciosa y un compromiso completo del sistema”.<\/p>\n\n
![\"Ciberseguridad\"](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2025\/04\/Nuevos-informes-descubren-jailbreaks-codigo-inseguro-y-riesgos-de-robo.jpg\")
<\/a><\/center><\/div>\n<\/a><\/div>\n<\/a><\/center><\/div>\n<\/a><\/div>\n