Las soluciones de IA son la nueva TI en la sombra

Empleados ambiciosos promocionan nuevas herramientas de inteligencia artificial e ignoran graves riesgos de seguridad de SaaS

Como el TI en la sombra SaaS Del pasado, la IA está colocando a los CISO y a los equipos de ciberseguridad en una situación difícil pero familiar.

Los empleados utilizan la IA de forma encubierta con poca consideración por los procedimientos establecidos de revisión de TI y ciberseguridad. Considerando El meteórico ascenso de ChatGPT a 100 millones de usuarios dentro de los 60 días posteriores al lanzamientoespecialmente con poca fanfarria de ventas y marketing, la demanda de herramientas de inteligencia artificial impulsada por los empleados solo aumentará.

Como muestran nuevos estudios Algunos trabajadores aumentan la productividad en un 40% utilizando IA generativala presión para que los CISO y sus equipos aceleren la adopción de la IA y hagan la vista gorda ante el uso no autorizado de herramientas de IA se está intensificando.

Pero sucumbir a estas presiones puede generar graves riesgos de filtración y violación de datos de SaaS, particularmente a medida que los empleados acuden en masa a herramientas de inteligencia artificial desarrolladas por pequeñas empresas, emprendedores individuales y desarrolladores independientes.

Las empresas emergentes independientes de IA suelen carecer del rigor de seguridad de la IA empresarial

Las aplicaciones independientes de IA ahora se cuentan por decenas de miles y están atrayendo exitosamente a los empleados con sus modelos freemium y estrategia de marketing de crecimiento basada en productos. Según un destacado ingeniero de seguridad ofensiva e investigador de IA Joseph Thackerlos desarrolladores independientes de aplicaciones de IA emplean menos personal de seguridad y menos atención en la seguridad, menos supervisión legal y menos cumplimiento.

Thacker desglosa los riesgos de las herramientas independientes de IA en las siguientes categorías:

• Fuga de datos: Herramientas de IA, particularmente IA generativa que utilizan grandes modelos de lenguaje (LLM), tienen amplio acceso a las indicaciones que ingresan los empleados. Incluso se han filtrado los historiales de chat de ChatGPT, y la mayoría de las herramientas independientes de IA no funcionan con los estándares de seguridad que aplica OpenAI (la empresa matriz de ChatGPT). Casi todas las herramientas independientes de IA conservan indicaciones para «datos de entrenamiento o fines de depuración», lo que deja esos datos vulnerables a la exposición.
• Problemas de calidad del contenido: Los LLM son sospechosos de tener alucinaciones, que IBM define como el fenómeno cuando LLMS «percibe patrones u objetos que son inexistentes o imperceptibles para los observadores humanos, creando resultados que no tienen sentido o son completamente inexactos». Si su organización espera depender de un LLM para la generación u optimización de contenido sin revisiones humanas ni protocolos de verificación de hechos, las probabilidades de que se publique información inexacta son altas. Más allá de los problemas de precisión en la creación de contenido, un número creciente de grupos, como académicos y editores de revistas científicas, han expresado Preocupaciones éticas sobre la divulgación de la autoría de la IA..
• Vulnerabilidades del producto: En general, cuanto más pequeña sea la organización que construye la herramienta de IA, es más probable que los desarrolladores no logren abordar las vulnerabilidades comunes del producto. Por ejemplo, las herramientas independientes de IA pueden ser más susceptibles a la inyección rápida y a vulnerabilidades tradicionales como SSRF, IDOR y XSS.
• Riesgo de cumplimiento: La ausencia de políticas de privacidad y regulaciones internas maduras en la IA independiente puede generar multas y sanciones severas por problemas de incumplimiento. Empleadores en industrias o geografías con regulaciones de datos SaaS más estrictas, como SOX, ISO 27001, NIST CSF, NIST 800-53 y APRA CPS 234 podrían encontrarse en infracción cuando los empleados utilicen herramientas que no cumplan con estos estándares. Además, muchos proveedores independientes de IA no han logrado el cumplimiento de SOC 2.

En resumen, los proveedores independientes de IA generalmente no se adhieren a los marcos y protocolos que mantienen seguros los datos y sistemas críticos de SaaS. Estos riesgos se amplifican cuando Las herramientas de IA están conectadas a sistemas SaaS empresariales.

Conectar la IA independiente a aplicaciones empresariales SaaS aumenta la productividad y la probabilidad de ataques de puerta trasera

Los empleados logran (o perciben) mejoras significativas en los procesos y resultados con herramientas de inteligencia artificial. Pero pronto querrán acelerar sus ganancias de productividad conectando la IA a los sistemas SaaS que utilizan todos los días, como Google Workspace, Salesforce o M365.

Debido a que las herramientas independientes de IA dependen del crecimiento a través del boca a boca más que de las tácticas tradicionales de marketing y ventas, los proveedores independientes de IA fomentan estas conexiones dentro de los productos y hacen que el proceso sea relativamente fluido. Un artículo de Hacker News sobre los riesgos de seguridad de la IA generativa ilustra este punto con un ejemplo de un empleado que encuentra un asistente de programación de IA para ayudarle a administrar mejor el tiempo al monitorear y analizar la gestión de tareas y las reuniones del empleado. Pero el asistente de programación de IA debe conectarse a herramientas como Slack, Gmail corporativo y Google Drive para obtener los datos que está diseñado para analizar.

Dado que las herramientas de IA dependen en gran medida de Tokens de acceso de OAuth para forjar una conexión de IA a SaaSel asistente de programación de IA recibe comunicación continua basada en API con Slack, Gmail y Google Drive.

Los empleados realizan conexiones de IA a SaaS como esta todos los días sin ninguna preocupación. Ven los posibles beneficios, no los riesgos inherentes. Pero los empleados bien intencionados no se dan cuenta de que es posible que hayan conectado una aplicación de IA de segunda categoría a los datos altamente confidenciales de su organización.

Figura 1: Cómo una herramienta independiente de IA logra una conexión de token OAuth con una importante plataforma SaaS. Crédito: AppOmni

Las conexiones de AI a SaaS, como todas las conexiones de SaaS a SaaS, heredarán la configuración de permisos del usuario. Esto se traduce en un grave riesgo de seguridad, ya que la mayoría de las herramientas independientes de inteligencia artificial siguen estándares de seguridad poco estrictos. Los actores de amenazas apuntan a herramientas independientes de inteligencia artificial como medio para acceder a los sistemas SaaS conectados que contienen las joyas de la corona de la empresa.

Una vez que el actor de la amenaza ha aprovechado esta puerta trasera al patrimonio SaaS de su organización, puede acceder y filtrar datos hasta que se detecte su actividad. Desafortunadamente, actividades sospechosas como esta a menudo pasan desapercibidas durante semanas o incluso años. Por ejemplo, pasaron aproximadamente dos semanas entre la exfiltración de datos y el aviso público de la Enero de 2023 Violación de datos de CircleCI.

Sin el adecuado Herramientas de gestión de la postura de seguridad (SSPM) SaaS Para monitorear conexiones no autorizadas de IA a SaaS y detectar amenazas como grandes cantidades de descargas de archivos, su organización corre un mayor riesgo de sufrir violaciones de datos de SaaS. SSPM mitiga este riesgo considerablemente y constituye una parte vital de su Programa de seguridad SaaS. Pero no pretende reemplazar los procedimientos y protocolos de revisión.

Cómo reducir prácticamente los riesgos de seguridad de las herramientas independientes de IA

Después de explorar los riesgos de la IA independiente, Thacker recomienda que los CISO y los equipos de ciberseguridad se centren en los fundamentos para preparar su organización para las herramientas de IA:

1. No descuide la debida diligencia estándar

Empezamos con lo básico por una razón. Asegúrese de que alguien de su equipo, o un miembro del Departamento Legal, lea los términos de servicios de cualquier herramienta de inteligencia artificial que soliciten los empleados. Por supuesto, esto no es necesariamente una protección contra violaciones o filtraciones de datos, y los proveedores independientes pueden exagerar la verdad con la esperanza de apaciguar a los clientes empresariales. Pero comprender a fondo los términos informará su estrategia legal si los proveedores de IA incumplen los términos del servicio.

2. Considere implementar (o revisar) políticas de datos y aplicaciones

Una política de solicitud proporciona pautas claras y transparencia a su organización. Una simple «lista de permitidos» puede cubrir herramientas de inteligencia artificial creadas por proveedores empresariales de SaaS, y todo lo que no esté incluido cae en el campo «no permitido». Alternativamente, puede establecer una política de datos que dicte qué tipos de datos los empleados pueden introducir en las herramientas de inteligencia artificial. Por ejemplo, puede prohibir introducir cualquier forma de propiedad intelectual en programas de IA o compartir datos entre sus sistemas SaaS y aplicaciones de IA.

3. Comprometerse a capacitar y educar periódicamente a los empleados

Pocos empleados buscan herramientas independientes de inteligencia artificial con intenciones maliciosas. La gran mayoría simplemente desconoce el peligro al que exponen a su empresa cuando utilizan IA no autorizada.

Brinde capacitación frecuente para que comprendan la realidad de las filtraciones y violaciones de datos de las herramientas de inteligencia artificial y lo que implican las conexiones de inteligencia artificial a SaaS. Las capacitaciones también sirven como momentos oportunos para explicar y reforzar sus políticas y proceso de revisión de software.

4. Haga las preguntas críticas en las evaluaciones de sus proveedores

Mientras su equipo conduce evaluaciones de proveedores de herramientas independientes de IA, insista en el mismo rigor que aplica a las empresas bajo revisión. Este proceso debe incluir su postura de seguridad y el cumplimiento de las leyes de privacidad de datos. Entre el equipo que solicita la herramienta y el propio proveedor, aborden preguntas como:

• ¿Quién accederá a la herramienta de IA? ¿Está limitado a ciertos individuos o equipos? ¿Tendrán acceso los contratistas, socios y/o clientes?
• ¿Qué personas y empresas tienen acceso a las indicaciones enviadas a la herramienta? ¿La función de IA depende de un tercero, un proveedor de modelos o un modelo local?
• ¿La herramienta de IA consume o utiliza de alguna manera información externa? ¿Qué pasaría si se les insertaran cargas útiles de inyección inmediata? ¿Qué impacto podría tener eso?
• ¿Puede la herramienta realizar acciones importantes, como cambios en archivos, usuarios u otros objetos?
• ¿Tiene la herramienta de IA alguna característica que pueda provocar vulnerabilidades tradicionales (como SSRF, IDOR y XSS mencionadas anteriormente)? Por ejemplo, ¿se muestra el mensaje o el resultado donde XSS podría ser posible? ¿La funcionalidad de búsqueda web permite acceder a hosts internos o IP de metadatos en la nube?

AppOmni, un proveedor de seguridad SaaS, ha publicado un serie de guías CISO para la seguridad de la IA que proporcionan preguntas de evaluación de proveedores más detalladas junto con información sobre las oportunidades y amenazas que presentan las herramientas de IA.

5. Construya relaciones y haga que su equipo (y sus políticas) sean accesibles

Los CISO, los equipos de seguridad y otros guardianes de la seguridad de la IA y SaaS deben presentarse como socios en la navegación de la IA ante los líderes empresariales y sus equipos. Los principios de Cómo los CISO hacen de la seguridad una prioridad empresarial descomponerse en relaciones sólidas, comunicación y pautas accesibles.

Mostrar el impacto de las filtraciones y violaciones de datos relacionados con la IA en términos de dólares y oportunidades perdidas hace que los riesgos cibernéticos resuenen en los equipos empresariales. Esta mejora de la comunicación es fundamental, pero es sólo un paso. Es posible que también deba ajustar la forma en que su equipo trabaja con la empresa.

Ya sea que opte por listas de aplicaciones o de datos permitidos, o una combinación de ambas, asegúrese de que estas pautas estén escritas con claridad y estén disponibles (y promovidas) fácilmente. Cuando los empleados saben qué datos están permitidos en un LLM, o qué proveedores aprobados pueden elegir para las herramientas de inteligencia artificial, es mucho más probable que se considere que su equipo potencia el progreso, no que lo detiene. Si los líderes o empleados solicitan herramientas de inteligencia artificial que están fuera de los límites, comience la conversación con lo que están tratando de lograr y sus objetivos. Cuando ven que usted está interesado en su perspectiva y necesidades, estarán más dispuestos a asociarse con usted en la herramienta de IA adecuada que a actuar de forma deshonesta con un proveedor independiente de IA.

Las mejores probabilidades para mantener su pila de SaaS protegida de las herramientas de inteligencia artificial a largo plazo es crear un entorno en el que la empresa vea a su equipo como un recurso, no como un obstáculo.