Plinio el Apuntador dice que normalmente le lleva unos 30 minutos descifrar los modelos de inteligencia artificial m\u00e1s potentes del mundo.<\/p>\n
El hacker seud\u00f3nimo ha manipulado la Llama 3 de Meta para que comparta instrucciones para fabricar napalm. Hizo que Grok de Elon Musk hablara efusivamente de Adolf Hitler. Su propia versi\u00f3n pirateada del \u00faltimo modelo GPT-4o de OpenAI, denominada \u201cGodmode GPT\u201d, fue prohibida por la startup despu\u00e9s de que comenz\u00f3 a asesorar sobre actividades ilegales.<\/p>\n
Plinio dijo al Financial Times que su \u201cjailbreaking\u201d no era nefasto sino parte de un esfuerzo internacional para resaltar las deficiencias de los grandes modelos ling\u00fc\u00edsticos lanzados al p\u00fablico por las empresas tecnol\u00f3gicas en busca de enormes ganancias.<\/p>\n
“He estado en pie de guerra para crear conciencia sobre las verdaderas capacidades de estos modelos”, dijo Pliny, un comerciante de criptomonedas y acciones que comparte sus jailbreaks en X. “Muchos de estos son ataques novedosos que podr\u00edan ser art\u00edculos de investigaci\u00f3n en su derecho propio . . . Al final del d\u00eda estoy trabajando para [the model owners] gratis.”<\/p>\n
Plinio es solo uno de las docenas de piratas inform\u00e1ticos, investigadores acad\u00e9micos y expertos en seguridad cibern\u00e9tica que compiten para encontrar vulnerabilidades en los LLM incipientes, por ejemplo, enga\u00f1ando a los chatbots con indicaciones para sortear las “barandillas” que las empresas de inteligencia artificial han instituido en un esfuerzo por garantizar que sus productos sean seguros. . <\/p>\n
Estos hackers \u00e9ticos de \u201csombrero blanco\u201d a menudo han encontrado formas de hacer que los modelos de IA creen contenido peligroso, difundan desinformaci\u00f3n, compartan datos privados o generen c\u00f3digo malicioso.<\/p>\n
Empresas como OpenAI, Meta y Google ya utilizan \u201cequipos rojos\u201d de piratas inform\u00e1ticos para probar sus modelos antes de su lanzamiento generalizado. Pero las vulnerabilidades de la tecnolog\u00eda han creado un mercado floreciente de empresas emergentes de seguridad LLM que crean herramientas para proteger a las empresas que planean utilizar modelos de IA. Las nuevas empresas de seguridad de aprendizaje autom\u00e1tico recaudaron 213 millones de d\u00f3lares en 23 acuerdos en 2023, frente a los 70 millones de d\u00f3lares del a\u00f1o anterior, seg\u00fan el proveedor de datos CB Insights.<\/p>\n
“El panorama del jailbreak comenz\u00f3 hace aproximadamente un a\u00f1o, y los ataques hasta ahora han evolucionado constantemente”, dijo Eran Shimony, investigador principal de vulnerabilidades en CyberArk, un grupo de seguridad cibern\u00e9tica que ahora ofrece seguridad LLM. “Es un juego constante del gato y el rat\u00f3n, en el que los proveedores mejoran la seguridad de nuestros LLM, pero tambi\u00e9n los atacantes hacen que sus indicaciones sean m\u00e1s sofisticadas”.<\/p>\n
Estos esfuerzos se producen cuando los reguladores globales buscan intervenir para frenar los peligros potenciales en torno a los modelos de IA. La UE aprob\u00f3 la Ley de IA, que crea nuevas responsabilidades para los creadores de LLM, mientras que el Reino Unido y Singapur se encuentran entre los pa\u00edses que est\u00e1n considerando nuevas leyes para regular el sector.<\/p>\n
La legislatura de California votar\u00e1 en agosto un proyecto de ley que requerir\u00eda que los grupos de IA del estado, que incluyen a Meta, Google y OpenAI, se aseguren de no desarrollar modelos con “una capacidad peligrosa”.<\/p>\n
“Todo [AI models] encajar\u00eda en ese criterio\u201d, dijo Plinio.<\/p>\n
Mientras tanto, piratas inform\u00e1ticos maliciosos han creado LLM manipulados con nombres como WormGPT y FraudGPT para venderlos en la web oscura por tan solo $ 90 para ayudar con ataques cibern\u00e9ticos escribiendo malware o ayudando a los estafadores a crear campa\u00f1as de phishing automatizadas pero altamente personalizadas. Han surgido otras variaciones, como EscapeGPT, BadGPT, DarkGPT y Black Hat GPT, seg\u00fan el grupo de seguridad de inteligencia artificial SlashNext.<\/p>\n
Algunos piratas inform\u00e1ticos utilizan modelos de c\u00f3digo abierto “sin censura”. Para otros, los ataques de jailbreak (o eludir las salvaguardas integradas en los LLM existentes) representan un nuevo oficio, en el que los perpetradores a menudo comparten consejos en comunidades en plataformas de redes sociales como Reddit o Discord.<\/p>\n
Los enfoques van desde piratas inform\u00e1ticos individuales que eluden los filtros utilizando sin\u00f3nimos de palabras que han sido bloqueadas por los creadores del modelo, hasta ataques m\u00e1s sofisticados que utilizan inteligencia artificial para la pirater\u00eda automatizada.<\/p>\n
El a\u00f1o pasado, investigadores de la Universidad Carnegie Mellon y el Centro para la Seguridad de la IA de EE. UU. dijeron que hab\u00edan encontrado una manera de hacer jailbreak sistem\u00e1ticamente a LLM como ChatGPT de OpenAI, Gemini de Google y una versi\u00f3n anterior de Claude de Anthropic: modelos propietarios “cerrados” que supuestamente eran menos vulnerables a ataques. Los investigadores agregaron que “no estaba claro si los proveedores de LLM podr\u00edan alguna vez corregir completamente ese comportamiento”.<\/p>\n
Anthropic public\u00f3 una investigaci\u00f3n en abril sobre una t\u00e9cnica llamada “jailbreaking de m\u00faltiples disparos”, mediante la cual los piratas inform\u00e1ticos pueden preparar un LLM mostr\u00e1ndole una larga lista de preguntas y respuestas, anim\u00e1ndolo a responder luego una pregunta da\u00f1ina modelando el mismo estilo. El ataque ha sido posible por el hecho de que modelos como los desarrollados por Anthropic ahora tienen una ventana de contexto m\u00e1s grande o espacio para agregar texto.<\/p>\n
\u201cAunque los LLM de \u00faltima generaci\u00f3n actuales son poderosos, no creemos que todav\u00eda representen riesgos verdaderamente catastr\u00f3ficos. Los modelos futuros podr\u00edan hacerlo\u201d, escribi\u00f3 Anthropic. “Esto significa que ahora es el momento de trabajar para mitigar posibles fugas de LLM antes de que puedan usarse en modelos que podr\u00edan causar da\u00f1os graves”.<\/p>\n
Algunos desarrolladores de IA dijeron que muchos ataques siguen siendo bastante benignos por ahora. Pero otros advirtieron sobre ciertos tipos de ataques que podr\u00edan comenzar a conducir a la fuga de datos, mediante los cuales los delincuentes podr\u00edan encontrar formas de extraer informaci\u00f3n confidencial, como datos sobre los cuales se ha entrenado un modelo.<\/p>\n
DeepKeep, un grupo de seguridad israel\u00ed LLM, encontr\u00f3 formas de obligar a Llama 2, un modelo de Meta AI m\u00e1s antiguo que es de c\u00f3digo abierto, a filtrar la informaci\u00f3n de identificaci\u00f3n personal de los usuarios. Rony Ohayon, director ejecutivo de DeepKeep, dijo que su empresa estaba desarrollando herramientas de seguridad LLM espec\u00edficas, como firewalls, para proteger a los usuarios.<\/p>\n