Microsoft ha lanzado un marco de automatizaci\u00f3n de acceso abierto llamado PyRIT<\/a> (abreviatura de Python Risk Identification Tool) para identificar proactivamente riesgos en sistemas de inteligencia artificial (IA) generativa.<\/p>\n La herramienta de equipo rojo est\u00e1 dise\u00f1ada para “permitir que todas las organizaciones de todo el mundo innoven de manera responsable con los \u00faltimos avances en inteligencia artificial”, dijo Ram Shankar Siva Kumar, l\u00edder del equipo rojo de IA en Microsoft. dicho<\/a>.<\/p>\n La compa\u00f1\u00eda dijo que PyRIT podr\u00eda usarse para evaluar la solidez de los criterios de valoraci\u00f3n del modelo de lenguaje grande (LLM) frente a diferentes categor\u00edas de da\u00f1o, como fabricaci\u00f3n (p. ej., alucinaciones), uso indebido (p. ej., sesgo) y contenido prohibido (p. ej., acoso).<\/p>\n Tambi\u00e9n se puede utilizar para identificar da\u00f1os a la seguridad que van desde la generaci\u00f3n de malware hasta el jailbreak, as\u00ed como da\u00f1os a la privacidad como el robo de identidad.<\/p>\n PyRIT viene con cinco interfaces: objetivo, conjuntos de datos, motor de puntuaci\u00f3n, la capacidad de admitir m\u00faltiples estrategias de ataque e incorpora un componente de memoria que puede tomar la forma de JSON o una base de datos para almacenar las interacciones intermedias de entrada y salida.<\/p>\n El motor de puntuaci\u00f3n tambi\u00e9n ofrece dos opciones diferentes para calificar los resultados del sistema de IA objetivo, lo que permite a los miembros del equipo rojo utilizar un clasificador de aprendizaje autom\u00e1tico cl\u00e1sico o aprovechar un punto final de LLM para la autoevaluaci\u00f3n.<\/p>\n “El objetivo es permitir a los investigadores tener una l\u00ednea de base de qu\u00e9 tan bien est\u00e1 funcionando su modelo y todo el proceso de inferencia frente a diferentes categor\u00edas de da\u00f1os y poder comparar esa l\u00ednea de base con futuras iteraciones de su modelo”, dijo Microsoft.<\/p>\n “Esto les permite tener datos emp\u00edricos sobre qu\u00e9 tan bien est\u00e1 funcionando su modelo hoy y detectar cualquier degradaci\u00f3n del rendimiento en funci\u00f3n de futuras mejoras”.<\/p>\n Dicho esto, el gigante tecnol\u00f3gico tiene cuidado de enfatizar que PyRIT no reemplaza la formaci\u00f3n de equipos rojos manuales de sistemas de IA generativos y que complementa la experiencia en el dominio existente de un equipo rojo.<\/p>\n En otras palabras, la herramienta est\u00e1 destinada a resaltar los “puntos calientes” de riesgo generando indicaciones que podr\u00edan usarse para evaluar el sistema de IA y se\u00f1alar \u00e1reas que requieren mayor investigaci\u00f3n.<\/p>\n Microsoft reconoci\u00f3 adem\u00e1s que el equipo rojo de sistemas de IA generativa requiere investigar simult\u00e1neamente los riesgos de seguridad y de IA responsable y que el ejercicio es m\u00e1s probabil\u00edstico, al tiempo que se\u00f1ala las amplias diferencias en las arquitecturas de los sistemas de IA generativa.<\/p>\n “A menudo es necesario realizar un sondeo manual, aunque lleva mucho tiempo, para identificar posibles puntos ciegos”, dijo Siva Kumar. “La automatizaci\u00f3n es necesaria para el escalado, pero no reemplaza el sondeo manual”.<\/p>\n El desarrollo se produce como Protect AI. revelado<\/a> m\u00faltiples vulnerabilidades cr\u00edticas<\/a> en plataformas populares de la cadena de suministro de IA, como ClearML, Hugging Face, MLflow y Triton Inference Server, que podr\u00edan dar lugar a la ejecuci\u00f3n de c\u00f3digo arbitrario y la divulgaci\u00f3n de informaci\u00f3n confidencial.<\/p>\n <\/p>\n![\"La](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2024\/02\/Microsoft-lanza-PyRIT-una-herramienta-de-equipo-rojo-para-IA.jpg\")
<\/a><\/center><\/div>\n<\/a><\/div>\n<\/a><\/center><\/div>\n