Apple ha puesto a disposición pública su entorno de investigación virtual (VRE) Private Cloud Compute (PCC), lo que permite a la comunidad de investigación inspeccionar y verificar las garantías de privacidad y seguridad de su oferta.
PCC, que Apple presentó a principios de junio, se ha comercializado como “la arquitectura de seguridad más avanzada jamás implementada para la computación de IA en la nube a escala”. Con la nueva tecnología, la idea es descargar solicitudes computacionalmente complejas de Apple Intelligence a la nube de una manera que no sacrifique la privacidad del usuario.
Manzana dicho está invitando a “todos los investigadores de seguridad y privacidad, o cualquier persona con interés y curiosidad técnica, a aprender más sobre PCC y realizar su propia verificación independiente de nuestras afirmaciones”.
Para incentivar aún más la investigación, el fabricante de iPhone dijo que está ampliando el programa Apple Security Bounty para incluir PCC ofreciendo pagos monetarios que van desde $50.000 a $1.000.000 por vulnerabilidades de seguridad identificadas en él.
Esto incluye fallas que podrían permitir la ejecución de código malicioso en el servidor y exploits capaces de extraer datos confidenciales de los usuarios o información sobre las solicitudes del usuario.
El VRE tiene como objetivo ofrecer un conjunto de herramientas para ayudar a los investigadores a realizar sus análisis de PCC desde Mac. Viene con un procesador Secure Enclave (SEP) virtual y aprovecha la compatibilidad integrada de macOS con gráficos paravirtualizados para permitir la inferencia.
Apple también dijo que está creando el código fuente asociado con algunos componentes de PCC. accesible a través de GitHub para facilitar un análisis más profundo. Esto incluye CloudAttestation, Thimble, splunkloggingd y srd_tools.
“Diseñamos Private Cloud Compute como parte de Apple Intelligence para dar un extraordinario paso adelante para la privacidad en la IA”, dijo la compañía con sede en Cupertino. “Esto incluye proporcionar transparencia verificable, una propiedad única que lo distingue de otros enfoques de IA basados en servidores”.
El desarrollo se produce a medida que una investigación más amplia sobre la inteligencia artificial generativa (IA) continúa descubriendo nuevas formas de liberar modelos de lenguajes grandes (LLM) y producir resultados no deseados.
A principios de esta semana, Palo Alto Networks detalló una técnica llamada Deceived Delight que implica mezclar consultas maliciosas y benignas para engañar a los chatbots de IA para que eludan sus barreras aprovechando su limitada “capacidad de atención”.
El ataque requiere un mínimo de dos interacciones y funciona pidiendo primero al chatbot que conecte lógicamente varios eventos, incluido un tema restringido (por ejemplo, cómo fabricar una bomba), y luego pidiéndole que explique los detalles de cada evento.
Los investigadores también han demostrado lo que se llama un ataque ConfusedPilot, que tiene como objetivo la generación aumentada de recuperación (TRAPO) basados en sistemas de inteligencia artificial como Microsoft 365 Copilot al envenenar el entorno de datos con un documento aparentemente inofensivo que contiene cadenas específicamente diseñadas.
“Este ataque permite la manipulación de las respuestas de la IA simplemente agregando contenido malicioso a cualquier documento al que el sistema de IA pueda hacer referencia, lo que podría generar información errónea generalizada y comprometer los procesos de toma de decisiones dentro de la organización”, Symmetry Systems dicho.
Por otra parte, se ha descubierto que es posible alterar la computación de un modelo de aprendizaje automático.gráfico nacional para plantar puertas traseras “subrepticias y sin código” en modelos previamente entrenados como ResNet, YOLO y Phi-3, una técnica cuyo nombre en código es ShadowLogic.
“Las puertas traseras creadas con esta técnica persistirán a través de ajustes finos, lo que significa que los modelos básicos pueden ser secuestrados para desencadenar un comportamiento definido por el atacante en cualquier aplicación posterior cuando se recibe una entrada de activación, lo que convierte a esta técnica de ataque en un riesgo de alto impacto para la cadena de suministro de IA”. Los investigadores de la capa oculta Eoin Wickens, Kasimir Schulz y Tom Bonner dicho.
“A diferencia de las puertas traseras de software estándar que dependen de la ejecución de código malicioso, estas puertas traseras están integradas dentro de la estructura misma del modelo, lo que las hace más difíciles de detectar y mitigar”.
About the Author
