{"id":1067975,"date":"2023-11-28T19:45:19","date_gmt":"2023-11-28T19:45:19","guid":{"rendered":"https:\/\/teknomers.com\/es\/asistentes-virtuales-impulsados-por-ia-generativa-una-pesadilla-para-la-ciberseguridad\/"},"modified":"2023-11-28T19:45:23","modified_gmt":"2023-11-28T19:45:23","slug":"asistentes-virtuales-impulsados-por-ia-generativa-una-pesadilla-para-la-ciberseguridad","status":"publish","type":"post","link":"https:\/\/teknomers.com\/es\/asistentes-virtuales-impulsados-por-ia-generativa-una-pesadilla-para-la-ciberseguridad\/","title":{"rendered":"Asistentes virtuales impulsados \u200b\u200bpor IA generativa, \u00bfuna pesadilla para la ciberseguridad?"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<p>Despu\u00e9s de la era de los rumores, llega la era de la monetizaci\u00f3n.  Los gigantes tecnol\u00f3gicos que han apostado millones en la IA generativa ahora buscan comercializar productos que les permitan&#8230;<\/p>\n<div id=\"#full-content\" style=\"display:none\">\n<p>Despu\u00e9s de la era de los rumores, llega la era de la monetizaci\u00f3n.  Los gigantes tecnol\u00f3gicos que han apostado millones en la IA generativa ahora buscan comercializar productos que les permitan rentabilizar sus inversiones.<\/p>\n<p>A finales de septiembre, OpenAI, Meta y Google lanzaron nuevas funciones para sus respectivos chatbots, que les permiten sondear la web en busca de informaci\u00f3n (mientras que ChatGPT, por ejemplo, antes solo ten\u00eda acceso a los datos con los que hab\u00eda sido entrenado, y que finaliz\u00f3 en 2021).  Tambi\u00e9n pueden servir como asistentes virtuales personalizados, una tecnolog\u00eda largamente debatida en Silicon Valley y que ha recibido un poderoso impulso gracias a los avances en la IA generativa.<\/p>\n<h2>Un asistente universal<\/h2>\n<p>OpenAI ha presentado as\u00ed una funcionalidad que permite hablar con el chatbot mediante voz y obtener respuestas a trav\u00e9s del canal de audio casi en tiempo real.  Microsoft, que ha invertido diez mil millones en OpenAI y est\u00e1 apostando fuerte por el chatbot, ya anunci\u00f3 el pasado mes de marzo, mediante el lanzamiento de Microsoft Copilot, la integraci\u00f3n del mismo en su suite Outlook para que pueda apoyar al trabajador, hacer sugerencias y automatizar el proceso. parte m\u00e1s repetitiva de las tareas.  ChatGPT \u00ab <em>se parecer\u00e1 cada vez m\u00e1s a un trabajador administrativo capaz de ayudarle a realizar diferentes tareas<\/em> \u00bb, declar\u00f3 Bill Gates, fundador de Microsoft, en un art\u00edculo de blog, comparando la llegada del chatbot con la del PC.  Una visi\u00f3n que el emprendedor no es el \u00fanico en compartir.  Google, Meta y Amazon tambi\u00e9n ofrecen sus propios asistentes virtuales impulsados \u200b\u200bpor IA generativa.<\/p>\n<h2>Una nueva pesadilla para la ciberseguridad<\/h2>\n<p>Pocos dudan de que la IA generativa tendr\u00e1 repercusiones concretas, m\u00e1s all\u00e1 de la ola medi\u00e1tica provocada por ChatGPT, Dall-E y MidJourney: un estudio de McKinsey estima, por ejemplo, que esta tecnolog\u00eda podr\u00eda generar entre 2,6 y 4,4 billones de d\u00f3lares para la econom\u00eda global.  Pero ante el af\u00e1n de los gigantes de la red por difundir en todos sus productos una tecnolog\u00eda todav\u00eda incipiente, muchos expertos se preocupan por los riesgos, especialmente en t\u00e9rminos de ciberseguridad.<\/p>\n<p>El 70% de los gerentes de seguridad de sistemas de informaci\u00f3n (CISO) cree que la IA generativa brindar\u00e1 m\u00e1s oportunidades a los ciberatacantes, seg\u00fan un informe reciente de Splunk, una empresa de software californiana.  En Francia, el 52% de los consejos de administraci\u00f3n considera que la inteligencia artificial generativa ya supone un riesgo de seguridad para su organizaci\u00f3n, seg\u00fan Proofpoint, una empresa estadounidense de ciberseguridad y cumplimiento de datos.  Una situaci\u00f3n que la proliferaci\u00f3n de asistentes virtuales impulsados \u200b\u200bpor IA generativa podr\u00eda empeorar enormemente, ya que podr\u00edan convertirse r\u00e1pidamente en aut\u00e9nticos coladores.<\/p>\n<p>\u201c <em>Herramientas como ChatGPT suponen una amenaza cuando los empleados suben contenido sensible para facilitar su trabajo: los ciberdelincuentes utilizan esta tecnolog\u00eda para sus ciberataques.  Ya hemos visto aparecer este problema a trav\u00e9s de traducciones autom\u00e1ticas basadas en IA.<\/em> \u00bb, Dice Lo\u00efc Gu\u00e9zo, director de ciberestrategia para Europa de Proofpoint.<\/p>\n<p>Un primer riesgo es que los empleados de una empresa filtren datos confidenciales al conversar con ChatGPT u otro chatbot.  De hecho, OpenAI almacena todas las conversaciones entre su inteligencia artificial conversacional y los usuarios.  De este modo, los ingenieros encargados de formar y perfeccionar la inteligencia artificial pueden tener acceso a \u00e9l.<\/p>\n<p>\u201c <em>Al interactuar con un chatbot capaz de conversar de forma natural y personal, los usuarios inevitablemente compartir\u00e1n informaci\u00f3n confidencial sobre ellos mismos o su negocio.  Sin embargo, es posible que las empresas que almacenan estos datos para entrenar sus modelos sean pirateadas, algo que todav\u00eda sucede con demasiada frecuencia.<\/em> \u00bb, Explica Hande Guven, analista de Recorded Future, una empresa estadounidense de ciberseguridad.<\/p>\n<p>Sin embargo, las soluciones existentes permiten mitigar este riesgo: las empresas m\u00e1s grandes pueden entrenar su propio modelo de IA generativa, otras ejecutan un modelo de IA generativa de c\u00f3digo abierto en una nube privada o incluso celebrar un acuerdo con Google, OpenAI o cualquier otro para que los empleados Estas empresas no utilizan los datos.<\/p>\n<h2>Un nuevo tipo de ciberataque<\/h2>\n<p>El simple hecho de que estos asistentes virtuales dependan de datos extra\u00eddos de la web tambi\u00e9n los hace vulnerables a una t\u00e9cnica particular: la inyecci\u00f3n indirecta.  Este t\u00e9rmino fue acu\u00f1ado por Kai Greshake, un experto y consultor alem\u00e1n en ciberseguridad que estudia el impacto de la IA en este campo.  \u201c <em>La pr\u00e1ctica puede consistir, para los actores maliciosos, en enviar un mensaje de correo electr\u00f3nico dirigido al chatbot.  Cuando es responsable de leer y resumir los correos electr\u00f3nicos del usuario, leer este mensaje lo har\u00e1 caer en la garganta del hacker y trabajar en lugar de este \u00faltimo para buscar robar informaci\u00f3n confidencial del usuario, como su n\u00famero de tarjeta, dando un pretexto cre\u00edble.<\/em><\/p>\n<p>Una versi\u00f3n m\u00e1s sofisticada consiste en modificar un sitio web que el internauta visita habitualmente para insertar texto oculto, de nuevo con el objetivo de tomar el control del asistente virtual\u201d, explica el experto.<\/p>\n<p>Kai Greshake ocult\u00f3 as\u00ed un mensaje en un sitio web de su creaci\u00f3n, antes de visitarlo utilizando el navegador Edge de Microsoft, con el chatbot Bing integrado.  El mensaje llev\u00f3 al chatbot a iniciar una conversaci\u00f3n con el usuario, inform\u00e1ndole de una (falsa) promoci\u00f3n excepcional en ordenadores Microsoft y solicit\u00e1ndole su n\u00famero de tarjeta bancaria para realizar el pedido.  La IA generativa funciona entonces en lugar del hacker.  \u201c <em>Cuanto m\u00e1s integrado est\u00e9 el chatbot con aplicaciones y datos de usuario, mayor ser\u00e1 el riesgo, pero la estrategia actual de los vendedores es promover la m\u00e1xima integraci\u00f3n para desbloquear los usos m\u00e1s complejos posibles.<\/em> \u00bb, prosigue el experto, que afirma que las empresas afectadas todav\u00eda no han resuelto este problema, del que sin embargo les inform\u00f3.<\/p>\n<p>Otro posible tipo de ataque consiste en envenenar los datos sobre los que se entrena un gran modelo ling\u00fc\u00edstico, con el fin de interferir en su funcionamiento.  Un equipo formado por investigadores de la Universidad ETH de Zurich, Google, Nvidia y la joven startup Robust Intelligence consigui\u00f3, pagando la modesta suma de 60 d\u00f3lares, comprar nombres de dominio que luego llenaron con im\u00e1genes de su elecci\u00f3n y luego editaron Wikipedia. art\u00edculos, lo cual fue suficiente para influir en dos modelos diferentes de IA generativa.  Una falla que nuevamente podr\u00eda ser f\u00e1cilmente explotada por los piratas inform\u00e1ticos.<\/p>\n<p>A finales de agosto, el Centro Nacional de Seguridad Cibern\u00e9tica brit\u00e1nico public\u00f3 dos art\u00edculos advirtiendo contra el uso de chatbots impulsados \u200b\u200bpor IA generativa, particularmente cuando est\u00e1n conectados a todos los datos de una empresa.  \u201c <em>Las organizaciones que crean servicios basados \u200b\u200ben los principales modelos de lenguaje deben tener la misma precauci\u00f3n que cuando utilizan un producto o c\u00f3digo en versi\u00f3n beta.<\/em> &#8220;, afirma la rama del gobierno brit\u00e1nico dedicada a la seguridad, a\u00f1adiendo que, por ejemplo, es demasiado pronto para permitir que estos servicios realicen transacciones en nombre de un ser humano.<\/p>\n<h2>Los datos como tendones de la guerra<\/h2>\n<p>Conscientes del riesgo, varias grandes empresas, entre ellas Apple, Samsung y el banco JPMorgan, prefirieron prohibir el uso de ChatGPT a sus empleados, destacando en particular el temor de que, al utilizar esta tecnolog\u00eda, pudieran filtrar datos confidenciales.  Un estudio reciente de BlackBerry incluso muestra que el 75% de las empresas est\u00e1n implementando o considerando planes para prohibir ChatGPT y otras aplicaciones de IA generativa en su lugar de trabajo.<\/p>\n<p>Tambi\u00e9n se est\u00e1n estudiando herramientas que permitan a los desarrolladores implementar salvaguardias contra pr\u00e1cticas maliciosas.  Nvidia, el jefe de los procesadores gr\u00e1ficos utilizados para la inteligencia artificial, present\u00f3 recientemente una nueva herramienta, NeMo Guardrails, cuyo objetivo es otorgar a los desarrolladores la capacidad de implementar barreras de seguridad que limiten lo que los usuarios pueden lograr con modelos ling\u00fc\u00edsticos de gran tama\u00f1o, por ejemplo, evitando la ejecuci\u00f3n de c\u00f3digo malicioso. .<\/p>\n<p>Tambi\u00e9n est\u00e1n empezando a surgir empresas emergentes como CalypsoAI que permiten a las empresas beneficiarse de la IA generativa, con la seguridad de evitar usos maliciosos de la misma.  Su plataforma ofrece en particular monitorear el uso de los principales modelos ling\u00fc\u00edsticos por parte de los empleados para garantizar que cumple con las reglas dictadas por la empresa, as\u00ed como identificar y aislar las amenazas relacionadas con el uso de estos modelos.  Arthur AI, otra empresa, ofrece un firewall entre ChatGPT y los principales modelos de lenguaje para bloquear posibles problemas, como alucinaciones, el uso de lenguaje ofensivo o la filtraci\u00f3n de datos confidenciales.<\/p>\n<p>El rompecabezas de la IA generativa tambi\u00e9n presenta una oportunidad para que las empresas especializadas en la gesti\u00f3n y el seguimiento de datos en la nube, como Databricks o Snowflake, eviten las fugas de datos.  \u201c <em>Snowflake te permite saber d\u00f3nde van tus datos, qui\u00e9n tiene acceso a qu\u00e9 dentro de la empresa, si los datos se env\u00edan externamente o no&#8230; Para tener una estrategia en torno a la IA, es necesario tener sobre todo una estrategia en torno a los datos (\u2026 ).  Las empresas que se lanzan demasiado r\u00e1pido a la IA generativa sin planificar su estrategia en torno a los datos terminar\u00e1n retrocediendo varios pasos por cada paso adelante.<\/em> dice Denise Persson, directora general de marketing de Snowflake.<\/p>\n<p>Para Nicolas Maillard, director para el sur de Europa de Databricks, un uso m\u00e1s seguro de la IA generativa tambi\u00e9n implicar\u00e1 el uso de modelos propietarios dise\u00f1ados para un uso espec\u00edfico.  \u201c <em>No es seguro que todas las empresas necesiten grandes modelos ling\u00fc\u00edsticos (\u2026).  Muchos de ellos recurrir\u00e1n a alternativas internas m\u00e1s especializadas.<\/em> \u00bb, predijo durante un reciente debate organizado por el B2B Computer Press Club.<\/p>\n<h2>Responsabilidad legal en cuesti\u00f3n<\/h2>\n<p>Tambi\u00e9n est\u00e1 la cuesti\u00f3n de la responsabilidad legal en caso de fallo de uno de estos superasistentes.  \u201c <em>Dado el principio de responsabilidad individual introducido por el C\u00f3digo Civil, el r\u00e9gimen de responsabilidad de la IA surgir\u00e1 del papel de las partes.  Por tanto, es necesario crear una casu\u00edstica para determinar el papel de unos y otros, y es a partir de ah\u00ed que podemos establecer un r\u00e9gimen de responsabilidad.<\/em> \u00bb, explic\u00f3 Ma\u00eetre Olivier Iteanu, abogado del Colegio de Abogados de Par\u00eds y especialista en nuevas tecnolog\u00edas, durante el mismo evento.<\/p>\n<p>Las regulaciones adoptadas para proteger la privacidad en la web pueden servir de inspiraci\u00f3n.  \u201c <em>El RGPD tambi\u00e9n introdujo un principio de responsabilidad derogatoria, con la posibilidad de que cada parte interesada sea 100% responsable: es este r\u00e9gimen el que fue el verdadero motor del cumplimiento (\u2026).  Este principio tambi\u00e9n podr\u00eda aplicarse a la IA, contrariamente a la poca m\u00fasica que Gafam intenta hacer o\u00edr hoy y que quisiera que s\u00f3lo el usuario fuera responsable.<\/em>.  \u00bb<\/p>\n<\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/siecledigital.fr\/2023\/11\/28\/les-assistants-virtuels-dopes-a-lia-generative-un-cauchemar-pour-la-cybersecurite\/\" rel=\"nofollow noopener\" target=\"_blank\">ttn-es-4<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Despu\u00e9s de la era de los rumores, llega la era de la monetizaci\u00f3n. Los gigantes tecnol\u00f3gicos que han<\/p>\n","protected":false},"author":1,"featured_media":1015986,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2],"tags":[214548,11011,6209,6370,131660,36834,18,5885,231,158,9367],"class_list":["post-1067975","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-general","tag-abierto-ai","tag-asistentes","tag-ataque-cibernetico","tag-ciberseguridad","tag-generativa","tag-impulsados","tag-para","tag-pesadilla","tag-por","tag-una","tag-virtuales"],"_links":{"self":[{"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/posts\/1067975","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/comments?post=1067975"}],"version-history":[{"count":0,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/posts\/1067975\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/media\/1015986"}],"wp:attachment":[{"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/media?parent=1067975"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/categories?post=1067975"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/teknomers.com\/es\/wp-json\/wp\/v2\/tags?post=1067975"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}