Después de la era de los rumores, llega la era de la monetización. Los gigantes tecnológicos que han apostado millones en la IA generativa ahora buscan comercializar productos que les permitan…
Después de la era de los rumores, llega la era de la monetización. Los gigantes tecnológicos que han apostado millones en la IA generativa ahora buscan comercializar productos que les permitan rentabilizar sus inversiones.
A finales de septiembre, OpenAI, Meta y Google lanzaron nuevas funciones para sus respectivos chatbots, que les permiten sondear la web en busca de información (mientras que ChatGPT, por ejemplo, antes solo tenía acceso a los datos con los que había sido entrenado, y que finalizó en 2021). También pueden servir como asistentes virtuales personalizados, una tecnología largamente debatida en Silicon Valley y que ha recibido un poderoso impulso gracias a los avances en la IA generativa.
Un asistente universal
OpenAI ha presentado así una funcionalidad que permite hablar con el chatbot mediante voz y obtener respuestas a través del canal de audio casi en tiempo real. Microsoft, que ha invertido diez mil millones en OpenAI y está apostando fuerte por el chatbot, ya anunció el pasado mes de marzo, mediante el lanzamiento de Microsoft Copilot, la integración del mismo en su suite Outlook para que pueda apoyar al trabajador, hacer sugerencias y automatizar el proceso. parte más repetitiva de las tareas. ChatGPT « se parecerá cada vez más a un trabajador administrativo capaz de ayudarle a realizar diferentes tareas », declaró Bill Gates, fundador de Microsoft, en un artículo de blog, comparando la llegada del chatbot con la del PC. Una visión que el emprendedor no es el único en compartir. Google, Meta y Amazon también ofrecen sus propios asistentes virtuales impulsados por IA generativa.
Una nueva pesadilla para la ciberseguridad
Pocos dudan de que la IA generativa tendrá repercusiones concretas, más allá de la ola mediática provocada por ChatGPT, Dall-E y MidJourney: un estudio de McKinsey estima, por ejemplo, que esta tecnología podría generar entre 2,6 y 4,4 billones de dólares para la economía global. Pero ante el afán de los gigantes de la red por difundir en todos sus productos una tecnología todavía incipiente, muchos expertos se preocupan por los riesgos, especialmente en términos de ciberseguridad.
El 70% de los gerentes de seguridad de sistemas de información (CISO) cree que la IA generativa brindará más oportunidades a los ciberatacantes, según un informe reciente de Splunk, una empresa de software californiana. En Francia, el 52% de los consejos de administración considera que la inteligencia artificial generativa ya supone un riesgo de seguridad para su organización, según Proofpoint, una empresa estadounidense de ciberseguridad y cumplimiento de datos. Una situación que la proliferación de asistentes virtuales impulsados por IA generativa podría empeorar enormemente, ya que podrían convertirse rápidamente en auténticos coladores.
“ Herramientas como ChatGPT suponen una amenaza cuando los empleados suben contenido sensible para facilitar su trabajo: los ciberdelincuentes utilizan esta tecnología para sus ciberataques. Ya hemos visto aparecer este problema a través de traducciones automáticas basadas en IA. », Dice Loïc Guézo, director de ciberestrategia para Europa de Proofpoint.
Un primer riesgo es que los empleados de una empresa filtren datos confidenciales al conversar con ChatGPT u otro chatbot. De hecho, OpenAI almacena todas las conversaciones entre su inteligencia artificial conversacional y los usuarios. De este modo, los ingenieros encargados de formar y perfeccionar la inteligencia artificial pueden tener acceso a él.
“ Al interactuar con un chatbot capaz de conversar de forma natural y personal, los usuarios inevitablemente compartirán información confidencial sobre ellos mismos o su negocio. Sin embargo, es posible que las empresas que almacenan estos datos para entrenar sus modelos sean pirateadas, algo que todavía sucede con demasiada frecuencia. », Explica Hande Guven, analista de Recorded Future, una empresa estadounidense de ciberseguridad.
Sin embargo, las soluciones existentes permiten mitigar este riesgo: las empresas más grandes pueden entrenar su propio modelo de IA generativa, otras ejecutan un modelo de IA generativa de código abierto en una nube privada o incluso celebrar un acuerdo con Google, OpenAI o cualquier otro para que los empleados Estas empresas no utilizan los datos.
Un nuevo tipo de ciberataque
El simple hecho de que estos asistentes virtuales dependan de datos extraídos de la web también los hace vulnerables a una técnica particular: la inyección indirecta. Este término fue acuñado por Kai Greshake, un experto y consultor alemán en ciberseguridad que estudia el impacto de la IA en este campo. “ La práctica puede consistir, para los actores maliciosos, en enviar un mensaje de correo electrónico dirigido al chatbot. Cuando es responsable de leer y resumir los correos electrónicos del usuario, leer este mensaje lo hará caer en la garganta del hacker y trabajar en lugar de este último para buscar robar información confidencial del usuario, como su número de tarjeta, dando un pretexto creíble.
Una versión más sofisticada consiste en modificar un sitio web que el internauta visita habitualmente para insertar texto oculto, de nuevo con el objetivo de tomar el control del asistente virtual”, explica el experto.
Kai Greshake ocultó así un mensaje en un sitio web de su creación, antes de visitarlo utilizando el navegador Edge de Microsoft, con el chatbot Bing integrado. El mensaje llevó al chatbot a iniciar una conversación con el usuario, informándole de una (falsa) promoción excepcional en ordenadores Microsoft y solicitándole su número de tarjeta bancaria para realizar el pedido. La IA generativa funciona entonces en lugar del hacker. “ Cuanto más integrado esté el chatbot con aplicaciones y datos de usuario, mayor será el riesgo, pero la estrategia actual de los vendedores es promover la máxima integración para desbloquear los usos más complejos posibles. », prosigue el experto, que afirma que las empresas afectadas todavía no han resuelto este problema, del que sin embargo les informó.
Otro posible tipo de ataque consiste en envenenar los datos sobre los que se entrena un gran modelo lingüístico, con el fin de interferir en su funcionamiento. Un equipo formado por investigadores de la Universidad ETH de Zurich, Google, Nvidia y la joven startup Robust Intelligence consiguió, pagando la modesta suma de 60 dólares, comprar nombres de dominio que luego llenaron con imágenes de su elección y luego editaron Wikipedia. artículos, lo cual fue suficiente para influir en dos modelos diferentes de IA generativa. Una falla que nuevamente podría ser fácilmente explotada por los piratas informáticos.
A finales de agosto, el Centro Nacional de Seguridad Cibernética británico publicó dos artículos advirtiendo contra el uso de chatbots impulsados por IA generativa, particularmente cuando están conectados a todos los datos de una empresa. “ Las organizaciones que crean servicios basados en los principales modelos de lenguaje deben tener la misma precaución que cuando utilizan un producto o código en versión beta. «, afirma la rama del gobierno británico dedicada a la seguridad, añadiendo que, por ejemplo, es demasiado pronto para permitir que estos servicios realicen transacciones en nombre de un ser humano.
Los datos como tendones de la guerra
Conscientes del riesgo, varias grandes empresas, entre ellas Apple, Samsung y el banco JPMorgan, prefirieron prohibir el uso de ChatGPT a sus empleados, destacando en particular el temor de que, al utilizar esta tecnología, pudieran filtrar datos confidenciales. Un estudio reciente de BlackBerry incluso muestra que el 75% de las empresas están implementando o considerando planes para prohibir ChatGPT y otras aplicaciones de IA generativa en su lugar de trabajo.
También se están estudiando herramientas que permitan a los desarrolladores implementar salvaguardias contra prácticas maliciosas. Nvidia, el jefe de los procesadores gráficos utilizados para la inteligencia artificial, presentó recientemente una nueva herramienta, NeMo Guardrails, cuyo objetivo es otorgar a los desarrolladores la capacidad de implementar barreras de seguridad que limiten lo que los usuarios pueden lograr con modelos lingüísticos de gran tamaño, por ejemplo, evitando la ejecución de código malicioso. .
También están empezando a surgir empresas emergentes como CalypsoAI que permiten a las empresas beneficiarse de la IA generativa, con la seguridad de evitar usos maliciosos de la misma. Su plataforma ofrece en particular monitorear el uso de los principales modelos lingüísticos por parte de los empleados para garantizar que cumple con las reglas dictadas por la empresa, así como identificar y aislar las amenazas relacionadas con el uso de estos modelos. Arthur AI, otra empresa, ofrece un firewall entre ChatGPT y los principales modelos de lenguaje para bloquear posibles problemas, como alucinaciones, el uso de lenguaje ofensivo o la filtración de datos confidenciales.
El rompecabezas de la IA generativa también presenta una oportunidad para que las empresas especializadas en la gestión y el seguimiento de datos en la nube, como Databricks o Snowflake, eviten las fugas de datos. “ Snowflake te permite saber dónde van tus datos, quién tiene acceso a qué dentro de la empresa, si los datos se envían externamente o no… Para tener una estrategia en torno a la IA, es necesario tener sobre todo una estrategia en torno a los datos (… ). Las empresas que se lanzan demasiado rápido a la IA generativa sin planificar su estrategia en torno a los datos terminarán retrocediendo varios pasos por cada paso adelante. dice Denise Persson, directora general de marketing de Snowflake.
Para Nicolas Maillard, director para el sur de Europa de Databricks, un uso más seguro de la IA generativa también implicará el uso de modelos propietarios diseñados para un uso específico. “ No es seguro que todas las empresas necesiten grandes modelos lingüísticos (…). Muchos de ellos recurrirán a alternativas internas más especializadas. », predijo durante un reciente debate organizado por el B2B Computer Press Club.
Responsabilidad legal en cuestión
También está la cuestión de la responsabilidad legal en caso de fallo de uno de estos superasistentes. “ Dado el principio de responsabilidad individual introducido por el Código Civil, el régimen de responsabilidad de la IA surgirá del papel de las partes. Por tanto, es necesario crear una casuística para determinar el papel de unos y otros, y es a partir de ahí que podemos establecer un régimen de responsabilidad. », explicó Maître Olivier Iteanu, abogado del Colegio de Abogados de París y especialista en nuevas tecnologías, durante el mismo evento.
Las regulaciones adoptadas para proteger la privacidad en la web pueden servir de inspiración. “ El RGPD también introdujo un principio de responsabilidad derogatoria, con la posibilidad de que cada parte interesada sea 100% responsable: es este régimen el que fue el verdadero motor del cumplimiento (…). Este principio también podría aplicarse a la IA, contrariamente a la poca música que Gafam intenta hacer oír hoy y que quisiera que sólo el usuario fuera responsable.. »