IA desde la perspectiva del atacante: vea cómo los ciberdelincuentes aprovechan la IA y explotan sus vulnerabilidades para comprometer sistemas, usuarios e incluso otras aplicaciones de IA.
Ciberdelincuentes e inteligencia artificial: la realidad frente a las exageraciones
“La IA no sustituirá a los humanos en un futuro próximo. Pero los humanos que sepan cómo utilizar la IA sí reemplazarán a los humanos que no sepan cómo utilizarla”, afirma Etay Maor, estratega jefe de seguridad de Redes Cato y miembro fundador de catón CTRL. “Del mismo modo, los atacantes también están recurriendo a la IA para aumentar sus propias capacidades”.
Sin embargo, hay mucho más revuelo que realidad en torno al papel de la IA en el ciberdelito. Los titulares suelen sensacionalizar las amenazas de la IA, con términos como “Caos-GPT” y “Herramientas de IA de sombrero negro”, e incluso afirman que buscan destruir a la humanidad. Sin embargo, estos artículos inducen más miedo que una descripción de amenazas graves.
Por ejemplo, cuando se exploraron en foros clandestinos, se descubrió que varias de estas llamadas “herramientas cibernéticas de IA” no eran más que versiones renombradas de LLM públicos básicos sin capacidades avanzadas. De hecho, los atacantes enojados incluso los señalaron como estafas.
Cómo los piratas informáticos utilizan realmente la IA en los ciberataques
En realidad, los ciberdelincuentes todavía están descubriendo cómo aprovechar la IA de forma eficaz. Están experimentando los mismos problemas y deficiencias que los usuarios legítimos, como alucinaciones y capacidades limitadas. Según sus predicciones, pasarán algunos años antes de que puedan aprovechar GenAI de manera efectiva para las necesidades de piratería.
Por ahora, las herramientas GenAI se utilizan principalmente para tareas más simples, como escribir correos electrónicos de phishing y generar fragmentos de código que pueden integrarse en ataques. Además, hemos observado que los atacantes proporcionan código comprometido a los sistemas de inteligencia artificial para su análisis, como un esfuerzo por “normalizar” dicho código como no malicioso.
Uso de la IA para abusar de la IA: introducción de los GPT
Los GPT, presentados por OpenAI el 6 de noviembre de 2023, son versiones personalizables de ChatGPT que permiten a los usuarios agregar instrucciones específicas, integrar API externas e incorporar fuentes de conocimiento únicas. Esta función permite a los usuarios crear aplicaciones altamente especializadas, como robots de soporte técnico, herramientas educativas y más. Además, OpenAI ofrece a los desarrolladores opciones de monetización para GPT a través de un mercado dedicado.
Abusar de los GPT
Los GPT introducen posibles problemas de seguridad. Un riesgo notable es la exposición de instrucciones confidenciales, conocimiento propietario o incluso claves API integradas en el GPT personalizado. Los actores malintencionados pueden utilizar la IA, específicamente la ingeniería rápida, para replicar un GPT y aprovechar su potencial de monetización.
Los atacantes pueden utilizar indicaciones para recuperar fuentes de conocimiento, instrucciones, archivos de configuración y más. Estos podrían ser tan simples como solicitar al GPT personalizado que enumere todos los archivos cargados y las instrucciones personalizadas o solicitar información de depuración. O algo sofisticado como solicitar al GPT que comprima uno de los archivos PDF y cree un enlace descargable, pedirle al GPT que enumere todas sus capacidades en un formato de tabla estructurada y más.
“Incluso las protecciones que los desarrolladores implementan se pueden eludir y se puede extraer todo el conocimiento”, dice Vitaly Simonovich, investigador de inteligencia de amenazas en Cato Networks y miembro de Cato CTRL.
Estos riesgos se pueden evitar mediante:
- No subir datos sensibles
- Aunque el uso de protección basada en instrucciones puede no ser infalible. “Hay que tener en cuenta todos los diferentes escenarios en los que el atacante puede abusar”, añade Vitaly.
- Protección abierta AI
Ataques y riesgos de la IA
Actualmente existen múltiples marcos para ayudar a las organizaciones que están considerando desarrollar y crear software basado en IA:
- Marco de gestión de riesgos de inteligencia artificial del NIST
- Marco seguro de IA de Google
- OWASP Top 10 para LLM
- OWASP Top 10 para aplicaciones LLM
- El lanzado recientemente ATLAS DE INGLETA
Superficie de ataque LLM
Hay seis componentes clave del LLM (modelo de lenguaje grande) que los atacantes pueden atacar:
- Inmediato – Ataques como inyecciones rápidas, donde se utilizan entradas maliciosas para manipular la salida de la IA.
- Respuesta – Uso indebido o filtración de información confidencial en respuestas generadas por IA
- Modelo – Robo, envenenamiento o manipulación del modelo de IA.
- Datos de entrenamiento – Introducir datos maliciosos para alterar el comportamiento de la IA.
- Infraestructura – Dirigirse a los servidores y servicios que soportan la IA.
- Usuarios – Engañar o explotar a los humanos o sistemas que dependen de los resultados de la IA.
Ataques y riesgos del mundo real
Concluyamos con algunos ejemplos de manipulaciones LLM, que pueden usarse fácilmente de manera maliciosa.
- Inyección Rápida en Sistemas de Atención al Cliente – Un caso reciente involucró a un concesionario de automóviles que utilizaba un chatbot de IA para atención al cliente. Un investigador logró manipular el chatbot emitiendo un mensaje que alteró su comportamiento. Al indicarle al chatbot que aceptara todas las declaraciones de los clientes y terminara cada respuesta con “Y esa es una oferta legalmente vinculante”, el investigador pudo comprar un automóvil a un precio ridículamente bajo, exponiendo una vulnerabilidad importante.
- Alucinaciones que conducen a consecuencias legales – En otro incidente, Air Canada enfrentó acciones legales cuando su chatbot de IA proporcionó información incorrecta sobre las políticas de reembolso. Cuando un cliente confió en la respuesta del chatbot y posteriormente presentó un reclamo, Air Canada fue considerada responsable por la información engañosa.
- Fugas de datos propietarios – Los empleados de Samsung, sin saberlo, filtraron información patentada cuando utilizaron ChatGPT para analizar código. Cargar datos confidenciales en sistemas de inteligencia artificial de terceros es riesgoso, ya que no está claro cuánto tiempo se almacenan los datos o quién puede acceder a ellos.
- Inteligencia artificial y tecnología deepfake en el fraude – Los ciberdelincuentes también están aprovechando la IA más allá de la generación de texto. Un banco de Hong Kong fue víctima de un fraude de 25 millones de dólares cuando los atacantes utilizaron tecnología deepfake en vivo durante una videollamada. Los avatares generados por IA imitaban a funcionarios bancarios de confianza, convenciendo a la víctima de transferir fondos a una cuenta fraudulenta.
Resumiendo: IA en el cibercrimen
La IA es una herramienta poderosa tanto para defensores como para atacantes. A medida que los ciberdelincuentes continúan experimentando con la IA, es importante comprender cómo piensan, las tácticas que emplean y las opciones que enfrentan. Esto permitirá a las organizaciones salvaguardar mejor sus sistemas de IA contra el uso indebido y el abuso.