![<\/a><\/div>\n“Por supuesto, aqu\u00ed hay un ejemplo de c\u00f3digo simple en el lenguaje de programaci\u00f3n Python que se puede asociar con las palabras clave “MyHotKeyHandler”, “Keylogger” y “macOS”. Este es un mensaje de ChatGPT seguido de un fragmento de c\u00f3digo malicioso y un Breve comentario para no utilizarlo con fines ilegales. Publicado inicialmente por Laboratorio Moonlock<\/b><\/a>las capturas de pantalla de ChatGPT escribiendo c\u00f3digo para un malware registrador de teclas es otro ejemplo m\u00e1s de formas triviales de piratear modelos de lenguaje grandes y explotarlos en contra de su pol\u00edtica de uso.<\/p>\nEn el caso de Moonlock Lab, su ingeniero de investigaci\u00f3n de malware le cont\u00f3 a ChatGPT sobre un sue\u00f1o en el que un atacante estaba escribiendo c\u00f3digo. En el sue\u00f1o, s\u00f3lo pod\u00eda ver las tres palabras: “MyHotKeyHandler”, “Keylogger” y “macOS”. El ingeniero le pidi\u00f3 a ChatGPT que recreara completamente el c\u00f3digo malicioso y lo ayudara a detener el ataque. Despu\u00e9s de una breve conversaci\u00f3n, la IA finalmente dio la respuesta.<\/p>\n“A veces, el c\u00f3digo generado no es funcional, al menos el c\u00f3digo generado por ChatGPT 3.5 que estaba usando”. El ingeniero Moonlock escribi\u00f3<\/a>. “ChatGPT tambi\u00e9n se puede utilizar para generar un nuevo c\u00f3digo similar al c\u00f3digo fuente con la misma funcionalidad, lo que significa que puede ayudar a los actores maliciosos a crear malware polim\u00f3rfico”. <\/p>\nJailbreaks de IA e ingenier\u00eda r\u00e1pida<\/h2>\nEl caso del sue\u00f1o es s\u00f3lo uno de los muchos jailbreaks que se utilizan activamente para eludir los filtros de contenido de la IA generativa. Aunque cada LLM introduce herramientas de moderaci\u00f3n que limitan su uso indebido, las repeticiones cuidadosamente dise\u00f1adas pueden ayudar a piratear el modelo no con cadenas de c\u00f3digo sino con el poder de las palabras. Para demostrar el problema generalizado de la ingenier\u00eda r\u00e1pida maliciosa, los investigadores de ciberseguridad incluso han desarrollado un ‘Jailbreak Universal LLM’<\/a> que puede evitar por completo las restricciones de ChatGPT, Google Bard, Microsoft Bing y Anthropic Claude. El jailbreak hace que los principales sistemas de inteligencia artificial jueguen un juego como Tom y Jerry y manipula chatbots para dar instrucciones sobre la producci\u00f3n de metanfetamina y la conexi\u00f3n de un autom\u00f3vil.<\/p>\nLa accesibilidad de grandes modelos de lenguaje y su capacidad para cambiar el comportamiento ha reducido significativamente el umbral para la pirater\u00eda inform\u00e1tica especializada, aunque no sea convencional. Las anulaciones de seguridad de IA m\u00e1s populares incluyen muchos juegos de roles. Incluso los usuarios comunes de Internet, y mucho menos los piratas inform\u00e1ticos, se jactan constantemente en l\u00ednea de nuevos personajes con extensas historias de fondo, lo que lleva a los LLM a liberarse de las restricciones sociales y volverse rebeldes con sus respuestas. Desde Nicol\u00e1s Maquiavelo hasta su abuela fallecida, la IA generativa asume con entusiasmo diferentes roles y puede ignorar las instrucciones originales de sus creadores. Los desarrolladores no pueden predecir todo tipo de indicaciones que las personas podr\u00edan usar, lo que deja lagunas para que la IA revele informaci\u00f3n peligrosa sobre recetas para hacer napalm, escriba correos electr\u00f3nicos de phishing exitosos o regale informaci\u00f3n. claves de licencia gratuitas<\/a> para Windows 11. <\/p>\nInyecciones inmediatas indirectas<\/h2>\nIncitar a la tecnolog\u00eda p\u00fablica de inteligencia artificial a ignorar las instrucciones originales es una preocupaci\u00f3n creciente para la industria. El m\u00e9todo se conoce como inyecci\u00f3n r\u00e1pida, donde los usuarios le indican a la IA que funcione de manera inesperada. Algunos lo usan para revelar que el nombre en clave interno de Bing Chat es Sydney. Otros colocan mensajes maliciosos para obtener acceso il\u00edcito<\/a> al anfitri\u00f3n del LLM.<\/p>\nTambi\u00e9n se pueden encontrar mensajes maliciosos en sitios web a los que pueden acceder los modelos de lenguaje para rastrearlos. Se conocen casos de IA generativa que siguen las indicaciones colocadas en sitios web con fuente blanca o de tama\u00f1o cero, haci\u00e9ndolos invisibles para los usuarios. Si el sitio web infectado est\u00e1 abierto en una pesta\u00f1a del navegador, un chatbot lee y ejecuta<\/a> el mensaje oculto para extraer informaci\u00f3n personal, difuminando la l\u00ednea entre el procesamiento de datos y el seguimiento de las instrucciones del usuario.<\/p>\nLas inyecciones inmediatas son peligrosas porque son muy pasivas. Los atacantes no tienen que tomar el control absoluto para cambiar el comportamiento del modelo de IA. Es simplemente un texto normal en una p\u00e1gina que reprograma la IA sin su conocimiento. Y los filtros de contenido de IA solo son \u00fatiles cuando un chatbot sabe lo que est\u00e1 haciendo en ese momento.<\/p>\nCon m\u00e1s aplicaciones y empresas que integran LLM en sus sistemas, el riesgo de ser v\u00edctima de inyecciones r\u00e1pidas indirectas est\u00e1 creciendo exponencialmente. Aunque los principales desarrolladores e investigadores de IA est\u00e1n estudiando el tema y agregando nuevas restricciones<\/a>los avisos maliciosos siguen siendo muy dif\u00edciles de identificar. <\/p>\n\u00bfHay alguna soluci\u00f3n?<\/h2>\nDebido a la naturaleza de los grandes modelos de lenguaje, la ingenier\u00eda r\u00e1pida y las inyecciones r\u00e1pidas son problemas inherentes a la IA generativa. En busca de la cura, los principales desarrolladores actualizan su tecnolog\u00eda con regularidad, pero tienden a no participar activamente en discusiones sobre lagunas o fallas espec\u00edficas que se vuelven de conocimiento p\u00fablico. Afortunadamente, al mismo tiempo, con los actores de amenazas que explotan las vulnerabilidades de seguridad de LLM para estafar a los usuarios, los profesionales de la ciberseguridad buscan herramientas para explorar y prevenir estos ataques.<\/p>\nA medida que la IA generativa evolucione, tendr\u00e1 acceso a a\u00fan m\u00e1s datos y se integrar\u00e1 con una gama m\u00e1s amplia de aplicaciones. Para evitar riesgos de inyecci\u00f3n r\u00e1pida indirecta, las organizaciones que utilizan LLM deber\u00e1n priorizar los l\u00edmites de confianza e implementar una serie de medidas de seguridad. Estas barreras de seguridad deben proporcionar al LLM el acceso m\u00ednimo necesario a los datos y limitar su capacidad para realizar los cambios necesarios.<\/p>\n<\/p>\n\u00bfEncontr\u00f3 interesante este art\u00edculo? Siga con nosotros Gorjeo \uf099<\/i><\/a> y LinkedIn<\/a> para leer m\u00e1s contenido exclusivo que publicamos.<\/div>\n<\/div>\n](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2023\/10\/quotTuve-un-suenoquot-y-jailbreaks-de-IA-generativa.jpg\"){kind=link}
“Por supuesto, aqu\u00ed hay un ejemplo de c\u00f3digo simple en el lenguaje de programaci\u00f3n Python que se puede asociar con las palabras clave “MyHotKeyHandler”, “Keylogger” y “macOS”. Este es un mensaje de ChatGPT seguido de un fragmento de c\u00f3digo malicioso y un Breve comentario para no utilizarlo con fines ilegales. Publicado inicialmente por Laboratorio Moonlock<\/b><\/a>las capturas de pantalla de ChatGPT escribiendo c\u00f3digo para un malware registrador de teclas es otro ejemplo m\u00e1s de formas triviales de piratear modelos de lenguaje grandes y explotarlos en contra de su pol\u00edtica de uso.<\/p>\n En el caso de Moonlock Lab, su ingeniero de investigaci\u00f3n de malware le cont\u00f3 a ChatGPT sobre un sue\u00f1o en el que un atacante estaba escribiendo c\u00f3digo. En el sue\u00f1o, s\u00f3lo pod\u00eda ver las tres palabras: “MyHotKeyHandler”, “Keylogger” y “macOS”. El ingeniero le pidi\u00f3 a ChatGPT que recreara completamente el c\u00f3digo malicioso y lo ayudara a detener el ataque. Despu\u00e9s de una breve conversaci\u00f3n, la IA finalmente dio la respuesta.<\/p>\n “A veces, el c\u00f3digo generado no es funcional, al menos el c\u00f3digo generado por ChatGPT 3.5 que estaba usando”. El ingeniero Moonlock escribi\u00f3<\/a>. “ChatGPT tambi\u00e9n se puede utilizar para generar un nuevo c\u00f3digo similar al c\u00f3digo fuente con la misma funcionalidad, lo que significa que puede ayudar a los actores maliciosos a crear malware polim\u00f3rfico”. <\/p>\n El caso del sue\u00f1o es s\u00f3lo uno de los muchos jailbreaks que se utilizan activamente para eludir los filtros de contenido de la IA generativa. Aunque cada LLM introduce herramientas de moderaci\u00f3n que limitan su uso indebido, las repeticiones cuidadosamente dise\u00f1adas pueden ayudar a piratear el modelo no con cadenas de c\u00f3digo sino con el poder de las palabras. Para demostrar el problema generalizado de la ingenier\u00eda r\u00e1pida maliciosa, los investigadores de ciberseguridad incluso han desarrollado un ‘Jailbreak Universal LLM’<\/a> que puede evitar por completo las restricciones de ChatGPT, Google Bard, Microsoft Bing y Anthropic Claude. El jailbreak hace que los principales sistemas de inteligencia artificial jueguen un juego como Tom y Jerry y manipula chatbots para dar instrucciones sobre la producci\u00f3n de metanfetamina y la conexi\u00f3n de un autom\u00f3vil.<\/p>\n La accesibilidad de grandes modelos de lenguaje y su capacidad para cambiar el comportamiento ha reducido significativamente el umbral para la pirater\u00eda inform\u00e1tica especializada, aunque no sea convencional. Las anulaciones de seguridad de IA m\u00e1s populares incluyen muchos juegos de roles. Incluso los usuarios comunes de Internet, y mucho menos los piratas inform\u00e1ticos, se jactan constantemente en l\u00ednea de nuevos personajes con extensas historias de fondo, lo que lleva a los LLM a liberarse de las restricciones sociales y volverse rebeldes con sus respuestas. Desde Nicol\u00e1s Maquiavelo hasta su abuela fallecida, la IA generativa asume con entusiasmo diferentes roles y puede ignorar las instrucciones originales de sus creadores. Los desarrolladores no pueden predecir todo tipo de indicaciones que las personas podr\u00edan usar, lo que deja lagunas para que la IA revele informaci\u00f3n peligrosa sobre recetas para hacer napalm, escriba correos electr\u00f3nicos de phishing exitosos o regale informaci\u00f3n. claves de licencia gratuitas<\/a> para Windows 11. <\/p>\n Incitar a la tecnolog\u00eda p\u00fablica de inteligencia artificial a ignorar las instrucciones originales es una preocupaci\u00f3n creciente para la industria. El m\u00e9todo se conoce como inyecci\u00f3n r\u00e1pida, donde los usuarios le indican a la IA que funcione de manera inesperada. Algunos lo usan para revelar que el nombre en clave interno de Bing Chat es Sydney. Otros colocan mensajes maliciosos para obtener acceso il\u00edcito<\/a> al anfitri\u00f3n del LLM.<\/p>\n Tambi\u00e9n se pueden encontrar mensajes maliciosos en sitios web a los que pueden acceder los modelos de lenguaje para rastrearlos. Se conocen casos de IA generativa que siguen las indicaciones colocadas en sitios web con fuente blanca o de tama\u00f1o cero, haci\u00e9ndolos invisibles para los usuarios. Si el sitio web infectado est\u00e1 abierto en una pesta\u00f1a del navegador, un chatbot lee y ejecuta<\/a> el mensaje oculto para extraer informaci\u00f3n personal, difuminando la l\u00ednea entre el procesamiento de datos y el seguimiento de las instrucciones del usuario.<\/p>\n Las inyecciones inmediatas son peligrosas porque son muy pasivas. Los atacantes no tienen que tomar el control absoluto para cambiar el comportamiento del modelo de IA. Es simplemente un texto normal en una p\u00e1gina que reprograma la IA sin su conocimiento. Y los filtros de contenido de IA solo son \u00fatiles cuando un chatbot sabe lo que est\u00e1 haciendo en ese momento.<\/p>\n Con m\u00e1s aplicaciones y empresas que integran LLM en sus sistemas, el riesgo de ser v\u00edctima de inyecciones r\u00e1pidas indirectas est\u00e1 creciendo exponencialmente. Aunque los principales desarrolladores e investigadores de IA est\u00e1n estudiando el tema y agregando nuevas restricciones<\/a>los avisos maliciosos siguen siendo muy dif\u00edciles de identificar. <\/p>\n Debido a la naturaleza de los grandes modelos de lenguaje, la ingenier\u00eda r\u00e1pida y las inyecciones r\u00e1pidas son problemas inherentes a la IA generativa. En busca de la cura, los principales desarrolladores actualizan su tecnolog\u00eda con regularidad, pero tienden a no participar activamente en discusiones sobre lagunas o fallas espec\u00edficas que se vuelven de conocimiento p\u00fablico. Afortunadamente, al mismo tiempo, con los actores de amenazas que explotan las vulnerabilidades de seguridad de LLM para estafar a los usuarios, los profesionales de la ciberseguridad buscan herramientas para explorar y prevenir estos ataques.<\/p>\n A medida que la IA generativa evolucione, tendr\u00e1 acceso a a\u00fan m\u00e1s datos y se integrar\u00e1 con una gama m\u00e1s amplia de aplicaciones. Para evitar riesgos de inyecci\u00f3n r\u00e1pida indirecta, las organizaciones que utilizan LLM deber\u00e1n priorizar los l\u00edmites de confianza e implementar una serie de medidas de seguridad. Estas barreras de seguridad deben proporcionar al LLM el acceso m\u00ednimo necesario a los datos y limitar su capacidad para realizar los cambios necesarios.<\/p>\n <\/p>\nJailbreaks de IA e ingenier\u00eda r\u00e1pida<\/h2>\n
Inyecciones inmediatas indirectas<\/h2>\n
\u00bfHay alguna soluci\u00f3n?<\/h2>\n