![<\/a><\/div>\nEl a\u00f1o pasado, el Proyecto Abierto Mundial de Seguridad de Aplicaciones (OWASP) public\u00f3 varias versiones del “OWASP Top 10 para modelos de lenguajes grandes<\/a>,” alcanzando un documento 1.0 en agosto y un documento 1.1 en octubre. Estos documentos no solo demuestran la naturaleza en r\u00e1pida evoluci\u00f3n de los modelos de lenguaje grande, sino tambi\u00e9n las formas en evoluci\u00f3n en las que se pueden atacar y defender. Vamos a hablar en este art\u00edculo sobre cuatro elementos de ese top 10 que son m\u00e1s capaces de contribuir a la divulgaci\u00f3n accidental de secretos como contrase\u00f1as, claves API y m\u00e1s.<\/p>\nYa somos conscientes de que los LLM pueden revelar secretos porque ya sucedi\u00f3. A principios de 2023, GitGuardian inform\u00f3 que encontr\u00f3 m\u00e1s de 10 millones de secretos en confirmaciones p\u00fablicas de Github. La herramienta de codificaci\u00f3n Copilot AI de Github se entren\u00f3 en confirmaciones p\u00fablicas y, en septiembre de 2023, investigadores de la Universidad de Hong Kong publicaron un art\u00edculo sobre c\u00f3mo crearon un algoritmo que gener\u00f3 900 mensajes dise\u00f1ados para que Copilot revelara secretos de sus datos de entrenamiento. Cuando se utilizaron estas indicaciones, Copilot revel\u00f3 m\u00e1s de 2700 secretos v\u00e1lidos. <\/p>\nLa t\u00e9cnica utilizada por los investigadores se llama “inyecci\u00f3n r\u00e1pida”. Es el n\u00famero 1 en el Top 10 de OWASP para LLM y lo describen de la siguiente manera: [blockquote]<\/p>\n“Esto manipula un modelo de lenguaje grande (LLM) a trav\u00e9s de entradas astutas, lo que provoca acciones no deseadas por parte del LLM. Las inyecciones directas sobrescriben las indicaciones del sistema, mientras que las indirectas manipulan entradas de fuentes externas”.<\/p><\/blockquote>\nEs posible que est\u00e9 m\u00e1s familiarizado con la inyecci\u00f3n r\u00e1pida del error revelado el a\u00f1o pasado que hac\u00eda que ChatGPT comenzara a escupir datos de entrenamiento si le ped\u00eda que repitiera ciertas palabras para siempre.<\/p>\nConsejo 1: rota tus secretos<\/strong><\/h2>\nIncluso si no cree que haya publicado secretos accidentalmente en GitHub, varios de los secretos all\u00ed se confirmaron en una confirmaci\u00f3n temprana y se bloquearon en una confirmaci\u00f3n m\u00e1s reciente, por lo que no son evidentes sin revisar todo su historial de confirmaciones, no solo el estado actual de sus repositorios p\u00fablicos.<\/p>\nUna herramienta de GitGuardian, llamada \u00bfSe ha filtrado mi secreto?<\/a>, le permite cifrar con hash un secreto actual y luego enviar los primeros caracteres del hash para determinar si hay coincidencias en su base de datos con lo que encuentran en sus escaneos de GitHub. Una coincidencia positiva no es una garant\u00eda de que su secreto se filtr\u00f3, pero brinda una probabilidad potencial de que as\u00ed sea, por lo que puede investigar m\u00e1s a fondo.<\/p>\nLas advertencias sobre la rotaci\u00f3n de claves\/contrase\u00f1as son que debe saber d\u00f3nde se utilizan, qu\u00e9 podr\u00eda fallar cuando cambian y tener un plan para mitigar esa falla mientras los nuevos secretos se propagan a los sistemas que los necesitan. Una vez rotados, debes asegurarte de que los secretos m\u00e1s antiguos hayan sido desactivados.<\/p>\nLos atacantes no pueden usar un secreto que ya no funciona y si sus secretos que podr\u00edan estar en un LLM han sido rotados, entonces se convierten en nada m\u00e1s que cadenas in\u00fatiles de alta entrop\u00eda.<\/p>\nConsejo 2: limpia tus datos<\/strong><\/h2>\nEl elemento n\u00famero 6 en el Top 10 de OWASP para LLM es “Divulgaci\u00f3n de informaci\u00f3n confidencial”:<\/p>\nLos LLM pueden revelar inadvertidamente datos confidenciales en sus respuestas, lo que da lugar a acceso no autorizado a datos, violaciones de privacidad y violaciones de seguridad. Es crucial implementar desinfecci\u00f3n de datos y pol\u00edticas estrictas de usuario para mitigar esto.<\/p><\/blockquote>\nSi bien las indicaciones dise\u00f1adas deliberadamente pueden hacer que los LLM revelen datos confidenciales, tambi\u00e9n pueden hacerlo accidentalmente. La mejor manera de garantizar que el LLM no revele datos confidenciales es asegurarse de que el LLM nunca lo sepa. <\/p>\nEsto se centra m\u00e1s en cuando est\u00e1s capacitando a un LLM para que lo utilicen personas que no siempre se preocupan por sus mejores intereses o personas que simplemente no deber\u00edan tener acceso a cierta informaci\u00f3n. Ya sean sus secretos o su salsa secreta, solo aquellos que necesitan acceder a ellos deben tenerlos… y su LLM probablemente no sea una de esas personas. <\/p>\nEl uso de herramientas de c\u00f3digo abierto o servicios pagos para escanear sus datos de entrenamiento en busca de secretos ANTES de enviar los datos a su LLM lo ayudar\u00e1 a eliminar los secretos. Lo que su LLM no sabe, no lo puede decir.<\/p>\nConsejo 3: aplique parches peri\u00f3dicamente y limite los privilegios<\/strong><\/h2>\nRecientemente vimos un art\u00edculo sobre el uso de archivos .env y variables de entorno como una forma de mantener secretos disponibles para su c\u00f3digo, pero fuera de su c\u00f3digo. Pero, \u00bfqu\u00e9 pasar\u00eda si a su LLM se le pudiera pedir que revelara variables ambientales… o que hiciera algo peor?<\/p>\nEsto combina el punto n.\u00b0 2 (“Manejo de resultados inseguro”) y el punto n.\u00b0 8 (“agencia excesiva”). <\/p>\n\nManejo de salida inseguro: <\/strong>Esta vulnerabilidad se produce cuando se acepta un resultado de LLM sin escrutinio, lo que expone los sistemas backend. El uso indebido puede tener consecuencias graves como XSS, CSRF, SSRF, escalada de privilegios o ejecuci\u00f3n remota de c\u00f3digo.<\/li>\nAgencia excesiva: <\/strong>Los sistemas basados \u200b\u200ben LLM pueden emprender acciones que conduzcan a consecuencias no deseadas. El problema surge de una funcionalidad, permisos o autonom\u00eda excesivos otorgados a los sistemas basados \u200b\u200ben LLM.<\/li>\n<\/ul>\nEs dif\u00edcil separarlos porque pueden empeorar mutuamente. Si se puede enga\u00f1ar a un LLM para que haga algo y su contexto operativo tiene privilegios innecesarios, se multiplica el potencial de que la ejecuci\u00f3n de un c\u00f3digo arbitrario cause un da\u00f1o importante.<\/p>\nTodos los desarrolladores han visto el “Haza\u00f1as de una mam\u00e1<\/a>“caricatura donde aparece un ni\u00f1o llamado `Robert”); DROP TABLE Students;”` borra la base de datos de estudiantes de una escuela. Aunque un LLM parece inteligente, en realidad no es m\u00e1s inteligente que una base de datos SQL. Y al igual que su hermano “comediante” hace que su sobrino peque\u00f1o le repita malas palabras a la abuela, las malas entradas pueden crear malos resultados Ambos deben ser desinfectados y considerados no confiables.<\/p>\nAdem\u00e1s, es necesario establecer barreras de seguridad sobre lo que el LLM o la aplicaci\u00f3n pueden hacer, considerando el principio de privilegio m\u00ednimo<\/a>. Esencialmente, las aplicaciones que usan o habilitan el LLM y la infraestructura de LLM no deben tener acceso a ning\u00fan dato o funcionalidad que no necesiten en absoluto para que no puedan ponerlo accidentalmente al servicio de un hacker.<\/p>\nTodav\u00eda se puede considerar que la IA est\u00e1 en su infancia y, como ocurre con cualquier beb\u00e9, no se le debe dar libertad para deambular por ninguna habitaci\u00f3n que no haya sido a prueba de beb\u00e9s. Los LLM pueden malinterpretar, alucinar y dejarse llevar deliberadamente por el mal camino. Cuando eso sucede, buenas cerraduras, buenas paredes y buenos filtros deber\u00edan ayudar a evitar que accedan o revelen secretos. <\/p>\nEn resumen<\/strong><\/h2>\nLos modelos de lenguaje grandes son una herramienta incre\u00edble. Est\u00e1n destinados a revolucionar una serie de profesiones, procesos e industrias. Pero son lejos<\/em> de una tecnolog\u00eda madura, y muchos los est\u00e1n adoptando imprudentemente por miedo a quedarse atr\u00e1s. <\/p>\nComo lo har\u00eda con cualquier beb\u00e9 que haya desarrollado suficiente movilidad como para meterse en problemas, debe vigilarlo y cerrar con llave los gabinetes en los que no quiera que entre. Contin\u00fae con modelos de lenguaje grandes, pero con precauci\u00f3n.<\/p>\n<\/p>\n\u00bfEncontr\u00f3 interesante este art\u00edculo? Este art\u00edculo es una contribuci\u00f3n de uno de nuestros valiosos socios.<\/span> Siga con nosotros Gorjeo \uf099<\/i><\/a> y LinkedIn<\/a> para leer m\u00e1s contenido exclusivo que publicamos.<\/div>\n<\/div>\n](\"https:\/\/teknomers.com\/es\/wp-content\/uploads\/2024\/02\/Tres-consejos-para-proteger-sus-secretos-de-los-accidentes-de.jpg\"){kind=link}
El a\u00f1o pasado, el Proyecto Abierto Mundial de Seguridad de Aplicaciones (OWASP) public\u00f3 varias versiones del “OWASP Top 10 para modelos de lenguajes grandes<\/a>,” alcanzando un documento 1.0 en agosto y un documento 1.1 en octubre. Estos documentos no solo demuestran la naturaleza en r\u00e1pida evoluci\u00f3n de los modelos de lenguaje grande, sino tambi\u00e9n las formas en evoluci\u00f3n en las que se pueden atacar y defender. Vamos a hablar en este art\u00edculo sobre cuatro elementos de ese top 10 que son m\u00e1s capaces de contribuir a la divulgaci\u00f3n accidental de secretos como contrase\u00f1as, claves API y m\u00e1s.<\/p>\n Ya somos conscientes de que los LLM pueden revelar secretos porque ya sucedi\u00f3. A principios de 2023, GitGuardian inform\u00f3 que encontr\u00f3 m\u00e1s de 10 millones de secretos en confirmaciones p\u00fablicas de Github. La herramienta de codificaci\u00f3n Copilot AI de Github se entren\u00f3 en confirmaciones p\u00fablicas y, en septiembre de 2023, investigadores de la Universidad de Hong Kong publicaron un art\u00edculo sobre c\u00f3mo crearon un algoritmo que gener\u00f3 900 mensajes dise\u00f1ados para que Copilot revelara secretos de sus datos de entrenamiento. Cuando se utilizaron estas indicaciones, Copilot revel\u00f3 m\u00e1s de 2700 secretos v\u00e1lidos. <\/p>\n La t\u00e9cnica utilizada por los investigadores se llama “inyecci\u00f3n r\u00e1pida”. Es el n\u00famero 1 en el Top 10 de OWASP para LLM y lo describen de la siguiente manera: [blockquote]<\/p>\n “Esto manipula un modelo de lenguaje grande (LLM) a trav\u00e9s de entradas astutas, lo que provoca acciones no deseadas por parte del LLM. Las inyecciones directas sobrescriben las indicaciones del sistema, mientras que las indirectas manipulan entradas de fuentes externas”.<\/p><\/blockquote>\n Es posible que est\u00e9 m\u00e1s familiarizado con la inyecci\u00f3n r\u00e1pida del error revelado el a\u00f1o pasado que hac\u00eda que ChatGPT comenzara a escupir datos de entrenamiento si le ped\u00eda que repitiera ciertas palabras para siempre.<\/p>\n Incluso si no cree que haya publicado secretos accidentalmente en GitHub, varios de los secretos all\u00ed se confirmaron en una confirmaci\u00f3n temprana y se bloquearon en una confirmaci\u00f3n m\u00e1s reciente, por lo que no son evidentes sin revisar todo su historial de confirmaciones, no solo el estado actual de sus repositorios p\u00fablicos.<\/p>\n Una herramienta de GitGuardian, llamada \u00bfSe ha filtrado mi secreto?<\/a>, le permite cifrar con hash un secreto actual y luego enviar los primeros caracteres del hash para determinar si hay coincidencias en su base de datos con lo que encuentran en sus escaneos de GitHub. Una coincidencia positiva no es una garant\u00eda de que su secreto se filtr\u00f3, pero brinda una probabilidad potencial de que as\u00ed sea, por lo que puede investigar m\u00e1s a fondo.<\/p>\n Las advertencias sobre la rotaci\u00f3n de claves\/contrase\u00f1as son que debe saber d\u00f3nde se utilizan, qu\u00e9 podr\u00eda fallar cuando cambian y tener un plan para mitigar esa falla mientras los nuevos secretos se propagan a los sistemas que los necesitan. Una vez rotados, debes asegurarte de que los secretos m\u00e1s antiguos hayan sido desactivados.<\/p>\n Los atacantes no pueden usar un secreto que ya no funciona y si sus secretos que podr\u00edan estar en un LLM han sido rotados, entonces se convierten en nada m\u00e1s que cadenas in\u00fatiles de alta entrop\u00eda.<\/p>\n El elemento n\u00famero 6 en el Top 10 de OWASP para LLM es “Divulgaci\u00f3n de informaci\u00f3n confidencial”:<\/p>\n Los LLM pueden revelar inadvertidamente datos confidenciales en sus respuestas, lo que da lugar a acceso no autorizado a datos, violaciones de privacidad y violaciones de seguridad. Es crucial implementar desinfecci\u00f3n de datos y pol\u00edticas estrictas de usuario para mitigar esto.<\/p><\/blockquote>\n Si bien las indicaciones dise\u00f1adas deliberadamente pueden hacer que los LLM revelen datos confidenciales, tambi\u00e9n pueden hacerlo accidentalmente. La mejor manera de garantizar que el LLM no revele datos confidenciales es asegurarse de que el LLM nunca lo sepa. <\/p>\n Esto se centra m\u00e1s en cuando est\u00e1s capacitando a un LLM para que lo utilicen personas que no siempre se preocupan por sus mejores intereses o personas que simplemente no deber\u00edan tener acceso a cierta informaci\u00f3n. Ya sean sus secretos o su salsa secreta, solo aquellos que necesitan acceder a ellos deben tenerlos… y su LLM probablemente no sea una de esas personas. <\/p>\n El uso de herramientas de c\u00f3digo abierto o servicios pagos para escanear sus datos de entrenamiento en busca de secretos ANTES de enviar los datos a su LLM lo ayudar\u00e1 a eliminar los secretos. Lo que su LLM no sabe, no lo puede decir.<\/p>\n Recientemente vimos un art\u00edculo sobre el uso de archivos .env y variables de entorno como una forma de mantener secretos disponibles para su c\u00f3digo, pero fuera de su c\u00f3digo. Pero, \u00bfqu\u00e9 pasar\u00eda si a su LLM se le pudiera pedir que revelara variables ambientales… o que hiciera algo peor?<\/p>\n Esto combina el punto n.\u00b0 2 (“Manejo de resultados inseguro”) y el punto n.\u00b0 8 (“agencia excesiva”). <\/p>\n Es dif\u00edcil separarlos porque pueden empeorar mutuamente. Si se puede enga\u00f1ar a un LLM para que haga algo y su contexto operativo tiene privilegios innecesarios, se multiplica el potencial de que la ejecuci\u00f3n de un c\u00f3digo arbitrario cause un da\u00f1o importante.<\/p>\n Todos los desarrolladores han visto el “Haza\u00f1as de una mam\u00e1<\/a>“caricatura donde aparece un ni\u00f1o llamado `Robert”); DROP TABLE Students;”` borra la base de datos de estudiantes de una escuela. Aunque un LLM parece inteligente, en realidad no es m\u00e1s inteligente que una base de datos SQL. Y al igual que su hermano “comediante” hace que su sobrino peque\u00f1o le repita malas palabras a la abuela, las malas entradas pueden crear malos resultados Ambos deben ser desinfectados y considerados no confiables.<\/p>\n Adem\u00e1s, es necesario establecer barreras de seguridad sobre lo que el LLM o la aplicaci\u00f3n pueden hacer, considerando el principio de privilegio m\u00ednimo<\/a>. Esencialmente, las aplicaciones que usan o habilitan el LLM y la infraestructura de LLM no deben tener acceso a ning\u00fan dato o funcionalidad que no necesiten en absoluto para que no puedan ponerlo accidentalmente al servicio de un hacker.<\/p>\n Todav\u00eda se puede considerar que la IA est\u00e1 en su infancia y, como ocurre con cualquier beb\u00e9, no se le debe dar libertad para deambular por ninguna habitaci\u00f3n que no haya sido a prueba de beb\u00e9s. Los LLM pueden malinterpretar, alucinar y dejarse llevar deliberadamente por el mal camino. Cuando eso sucede, buenas cerraduras, buenas paredes y buenos filtros deber\u00edan ayudar a evitar que accedan o revelen secretos. <\/p>\n Los modelos de lenguaje grandes son una herramienta incre\u00edble. Est\u00e1n destinados a revolucionar una serie de profesiones, procesos e industrias. Pero son lejos<\/em> de una tecnolog\u00eda madura, y muchos los est\u00e1n adoptando imprudentemente por miedo a quedarse atr\u00e1s. <\/p>\n Como lo har\u00eda con cualquier beb\u00e9 que haya desarrollado suficiente movilidad como para meterse en problemas, debe vigilarlo y cerrar con llave los gabinetes en los que no quiera que entre. Contin\u00fae con modelos de lenguaje grandes, pero con precauci\u00f3n.<\/p>\n <\/p>\nConsejo 1: rota tus secretos<\/strong><\/h2>\n
Consejo 2: limpia tus datos<\/strong><\/h2>\n
Consejo 3: aplique parches peri\u00f3dicamente y limite los privilegios<\/strong><\/h2>\n
\n
En resumen<\/strong><\/h2>\n