Meta el martes anunciado LlamaFirewallun marco de código abierto diseñado para asegurar sistemas de inteligencia artificial (IA) contra riesgos cibernéticos emergentes tales como inyección inmediata, jailbreaks y código inseguro, entre otros.
El estructuradijo la compañía, incorpora tres barandillas, incluyendo Promptguard 2, cheques de alineación de agentes y Codeshield.
Prolticguard 2 está diseñado para detectar jailbreak directo y intentos de inyección de inmediato en tiempo real, mientras que las verificaciones de alineación de agentes son capaces de inspeccionar el razonamiento del agente para un posible secuestro de objetivos y escenarios de inyección indirecta.
Codeshield se refiere a un motor de análisis estático en línea que busca evitar la generación de código inseguro o peligroso por parte de los agentes de IA.
“LlamaFireWall está construido para servir como un marco de barandilla flexible en tiempo real para asegurar aplicaciones con alimentación de LLM”, la compañía dicho En una descripción de GitHub del proyecto.
“Su arquitectura es modular, lo que permite a los equipos de seguridad y desarrolladores componer defensas en capas que abarcan desde la ingestión de entrada sin procesar hasta las acciones de salida finales, en modelos de chat simples y agentes autónomos complejos”.
Junto a LlamaFireWall, Meta ha puesto a disposición versiones actualizadas de Pícaro y Cibernética Para detectar mejor varios tipos comunes de contenido de violación y medir las capacidades defensivas de ciberseguridad de los sistemas de IA, respectivamente.
CyberseceVal 4 también incluye un nuevo punto de referencia llamado AutoPatchBench, que está diseñado para evaluar la capacidad de un agente de modelo de idioma grande (LLM) para reparar automáticamente una amplia gama de vulnerabilidades C/C ++ identificadas a través de fuzzing, un enfoque conocido como Parches con AI.
“AutoPatchbench proporciona un marco de evaluación estandarizado para evaluar la efectividad de las herramientas de reparación de vulnerabilidad asistidas por AI-AI”, la compañía dicho. “Este punto de referencia tiene como objetivo facilitar una comprensión integral de las capacidades y limitaciones de varios enfoques impulsados por la IA para reparar errores de fondos confusos”.
Por último, Meta ha lanzado un nuevo programa denominado Llama para defensores Para ayudar a las organizaciones asociadas y a los desarrolladores de IA a acceder a soluciones abiertas, de acceso temprano y cerrado de IA para abordar desafíos de seguridad específicos, como la detección de contenido generado por IA utilizado en estafas, fraudes y ataques de phishing.
Los anuncios se producen cuando WhatsApp observó una nueva tecnología llamada procesamiento privado para permitir a los usuarios aprovechar las características de IA sin comprometer su privacidad al descargar las solicitudes a un entorno seguro y confidencial.
“Estamos trabajando con la comunidad de seguridad para auditar y mejorar nuestra arquitectura y continuaremos construyendo y fortaleciendo el procesamiento privado a la intemperie, en colaboración con los investigadores, antes de lanzarla en el producto”, dijo Meta.
About the Author
