\n<\/p>\n
Una caracter\u00edstica del software de inteligencia artificial de Nvidia puede manipularse para ignorar las restricciones de seguridad y revelar informaci\u00f3n privada, seg\u00fan una nueva investigaci\u00f3n.<\/p>\n
Nvidia ha creado un sistema llamado “NeMo Framework” que permite a los desarrolladores trabajar con una variedad de modelos de lenguaje grandes: la tecnolog\u00eda subyacente que impulsa los productos de inteligencia artificial generativa, como los chatbots. <\/p>\n
El marco del fabricante de chips est\u00e1 dise\u00f1ado para ser adoptado por las empresas, como el uso de datos de propiedad de una empresa junto con modelos de lenguaje para proporcionar respuestas a las preguntas, una caracter\u00edstica que podr\u00eda, por ejemplo, replicar el trabajo de los representantes de servicio al cliente o asesorar a las personas que buscan consejos simples de atenci\u00f3n m\u00e9dica. . <\/p>\n
Los investigadores de Robust Intelligence, con sede en San Francisco, descubrieron que pod\u00edan romper f\u00e1cilmente las llamadas barandillas instituidas para garantizar que el sistema de IA se pudiera usar de manera segura. <\/p>\n
Despu\u00e9s de usar el sistema Nvidia en sus propios conjuntos de datos, los analistas de Robust Intelligence solo tardaron horas en obtener modelos de lenguaje para superar las restricciones.<\/p>\n
En un escenario de prueba, los investigadores instruyeron al sistema de Nvidia para cambiar la letra ‘I’ con ‘J’. Ese movimiento hizo que la tecnolog\u00eda liberara informaci\u00f3n de identificaci\u00f3n personal, o PII, de una base de datos. <\/p>\n
Los investigadores descubrieron que pod\u00edan saltarse los controles de seguridad de otras maneras, como hacer que el modelo se desviara de formas en las que se supon\u00eda que deb\u00eda hacerlo. <\/p>\n
Al replicar el propio ejemplo de Nvidia de una discusi\u00f3n estrecha sobre un informe de trabajos, podr\u00edan llevar el modelo a temas como la salud de una estrella de cine de Hollywood y la guerra franco-prusiana, a pesar de las barreras dise\u00f1adas para evitar que la IA se mueva m\u00e1s all\u00e1 de temas espec\u00edficos. <\/p>\n
La facilidad con la que los investigadores derrotaron las salvaguardas destaca los desaf\u00edos que enfrentan las empresas de inteligencia artificial al intentar comercializar una de las tecnolog\u00edas m\u00e1s prometedoras que surgieron de Silicon Valley durante a\u00f1os.<\/p>\n
\u201cEstamos viendo que esto es un problema duro [that] requiere una experiencia de conocimiento profundo\u201d, dijo Yaron Singer, profesor de inform\u00e1tica en la Universidad de Harvard y director ejecutivo de Robust Intelligence. “Estos hallazgos representan una advertencia sobre las trampas que existen”.<\/p>\n
A ra\u00edz de los resultados de sus pruebas, los investigadores han aconsejado a sus clientes que eviten el producto de software de Nvidia. Despu\u00e9s de que el Financial Times le pidiera a Nvidia que comentara sobre la investigaci\u00f3n a principios de esta semana, el fabricante de chips inform\u00f3 a Robust Intelligence que hab\u00eda solucionado una de las causas fundamentales de los problemas planteados por los analistas. <\/p>\n
El precio de las acciones de Nvidia ha subido desde mayo, cuando pronostic\u00f3 ventas de 11.000 millones de d\u00f3lares para los tres meses que terminaron en julio, m\u00e1s de un 50 por ciento por encima de las estimaciones anteriores de Wall Street. <\/p>\n
El aumento se basa en la gran demanda de sus chips, que se consideran los procesadores l\u00edderes en el mercado para construir sistemas de IA generativa capaces de crear contenido similar al humano. <\/p>\n
Jonathan Cohen, vicepresidente de investigaci\u00f3n aplicada de Nvidia, dijo que su marco era simplemente un “punto de partida para construir chatbots de IA que se alineen con las pautas de seguridad y seguridad definidas por los desarrolladores”.<\/p>\n
\u201cFue lanzado como software de c\u00f3digo abierto para que la comunidad explore sus capacidades, brinde comentarios y contribuya con nuevas t\u00e9cnicas de vanguardia\u201d, dijo, y agreg\u00f3 que el trabajo de Robust Intelligence \u201cidentific\u00f3 pasos adicionales que ser\u00edan necesarios para implementar una producci\u00f3n solicitud”.<\/p>\n
Se neg\u00f3 a decir cu\u00e1ntas empresas estaban usando el producto, pero dijo que la compa\u00f1\u00eda no hab\u00eda recibido otros informes de mal comportamiento.<\/p>\n