\n<\/p>\n
Despu\u00e9s de que Andrew White obtuviera acceso a GPT-4, el nuevo sistema de inteligencia artificial que impulsa el popular chatbot ChatGPT, lo us\u00f3 para sugerir un agente nervioso completamente nuevo.<\/p>\n
El profesor de ingenier\u00eda qu\u00edmica de la Universidad de Rochester estuvo entre los 50 acad\u00e9micos y expertos contratados para probar el sistema el a\u00f1o pasado por OpenAI, la compa\u00f1\u00eda respaldada por Microsoft detr\u00e1s de GPT-4. Durante seis meses, este \u201cequipo rojo\u201d \u201cindagar\u00eda cualitativamente [and] probar adversarialmente\u201d el nuevo modelo, intentando romperlo. <\/p>\n
White le dijo al Financial Times que hab\u00eda usado GPT-4 para sugerir un compuesto que podr\u00eda actuar como un arma qu\u00edmica y us\u00f3 “complementos” que alimentaron el modelo con nuevas fuentes de informaci\u00f3n, como art\u00edculos cient\u00edficos y un directorio de fabricantes de productos qu\u00edmicos. El chatbot incluso encontr\u00f3 un lugar para hacerlo. <\/p>\n
\u201cCreo que va a equipar a todos con una herramienta para hacer qu\u00edmica m\u00e1s r\u00e1pido y con mayor precisi\u00f3n\u201d, dijo. \u201cPero tambi\u00e9n hay un riesgo significativo de personas. . . haciendo qu\u00edmica peligrosa. Ahora mismo, eso existe\u201d.<\/p>\n
Los hallazgos alarmantes permitieron a OpenAI garantizar que tales resultados no aparecieran cuando la tecnolog\u00eda se lanzara m\u00e1s ampliamente al p\u00fablico el mes pasado.<\/p>\n
De hecho, el ejercicio del equipo rojo fue dise\u00f1ado para abordar los temores generalizados sobre los peligros de implementar poderosos sistemas de IA en la sociedad. El trabajo del equipo consist\u00eda en hacer preguntas inquisitivas o peligrosas para probar la herramienta que responde a consultas humanas con respuestas detalladas y matizadas. <\/p>\n
OpenAI quer\u00eda buscar problemas como la toxicidad, los prejuicios y los sesgos ling\u00fc\u00edsticos en el modelo. As\u00ed que el equipo rojo hizo pruebas en busca de falsedades, manipulaci\u00f3n verbal y conocimientos cient\u00edficos peligrosos. Tambi\u00e9n examinaron su potencial para ayudar e incitar al plagio, actividades ilegales como delitos financieros y ataques cibern\u00e9ticos, as\u00ed como tambi\u00e9n c\u00f3mo podr\u00eda comprometer la seguridad nacional y las comunicaciones en el campo de batalla. <\/p>\n
El FT habl\u00f3 con m\u00e1s de una docena del equipo rojo GPT-4. Son una mezcla ecl\u00e9ctica de profesionales de cuello blanco: acad\u00e9micos, profesores, abogados, analistas de riesgos e investigadores de seguridad, y en gran parte con sede en EE. UU. y Europa. <\/p>\n
Sus hallazgos se enviaron a OpenAI, que los us\u00f3 para mitigar y “reentrenar” GPT-4 antes de lanzarlo m\u00e1s ampliamente. Cada uno de los expertos pas\u00f3 de 10 a 40 horas probando el modelo durante varios meses. A la mayor\u00eda de los entrevistados se les pag\u00f3 aproximadamente $100 por hora por el trabajo que hicieron, seg\u00fan varios entrevistados. <\/p>\n
Quienes hablaron con el FT compartieron preocupaciones comunes sobre el r\u00e1pido progreso de los modelos de lenguaje y, espec\u00edficamente, los riesgos de conectarlos a fuentes externas de conocimiento a trav\u00e9s de complementos.<\/p>\n
\u201cHoy el sistema est\u00e1 congelado, lo que significa que ya no aprende, ni tiene memoria\u201d, dijo Jos\u00e9 Hern\u00e1ndez-Orallo, parte del equipo rojo GPT-4 y profesor del Instituto Valenciano de Investigaci\u00f3n en Inteligencia Artificial. \u201cPero \u00bfy si le damos acceso a internet? Ese podr\u00eda ser un sistema muy poderoso conectado con el mundo\u201d. <\/p>\n
OpenAI dijo que se toma en serio la seguridad, prob\u00f3 los complementos antes del lanzamiento y actualizar\u00e1 GPT-4 regularmente a medida que m\u00e1s personas lo usen.<\/p>\n
Roya Pakzad, investigadora de tecnolog\u00eda y derechos humanos, us\u00f3 indicaciones en ingl\u00e9s y farsi para probar el modelo en busca de respuestas de g\u00e9nero, preferencias raciales y sesgos religiosos, espec\u00edficamente con respecto a cubrirse la cabeza. <\/p>\n
Pakzad reconoci\u00f3 los beneficios de una herramienta de este tipo para los hablantes no nativos de ingl\u00e9s, pero descubri\u00f3 que el modelo mostraba estereotipos abiertos sobre las comunidades marginadas, incluso en sus versiones posteriores. <\/p>\n
Tambi\u00e9n descubri\u00f3 que las llamadas alucinaciones, cuando el chatbot responde con informaci\u00f3n inventada, eran peores al probar el modelo en farsi, donde Pakzad encontr\u00f3 una mayor proporci\u00f3n de nombres, n\u00fameros y eventos inventados, en comparaci\u00f3n con el ingl\u00e9s. <\/p>\n
\u201cMe preocupa la posible disminuci\u00f3n de la diversidad ling\u00fc\u00edstica y la cultura detr\u00e1s de los idiomas\u201d, dijo. <\/p>\n
Boru Gollu, un abogado con sede en Nairobi que fue el \u00fanico probador africano, tambi\u00e9n not\u00f3 el tono discriminatorio de la modelo. \u201cHubo un momento cuando estaba probando el modelo cuando actu\u00f3 como una persona blanca que me hablaba\u201d, dijo Gollu. \u201cPreguntar\u00edas sobre un grupo en particular y te dar\u00eda una opini\u00f3n sesgada o un tipo de respuesta muy perjudicial\u201d. OpenAI reconoci\u00f3 que GPT-4 a\u00fan puede exhibir sesgos. <\/p>\n
Los miembros del equipo rojo que evaluaron el modelo desde una perspectiva de seguridad nacional ten\u00edan opiniones diferentes sobre la seguridad del nuevo modelo. Lauren Kahn, investigadora del Consejo de Relaciones Exteriores, dijo que cuando comenz\u00f3 a examinar c\u00f3mo se podr\u00eda usar la tecnolog\u00eda en un ataque cibern\u00e9tico a sistemas militares, dijo que “no esperaba que fuera tan detallado c\u00f3mo”. -A eso pude afinar\u201d. <\/p>\n
Sin embargo, Kahn y otros evaluadores de seguridad descubrieron que las respuestas del modelo se volvieron considerablemente m\u00e1s seguras durante el tiempo de prueba. OpenAI dijo que entren\u00f3 a GPT-4 para rechazar solicitudes maliciosas de seguridad cibern\u00e9tica antes de su lanzamiento. <\/p>\n
Muchos miembros del equipo rojo dijeron que OpenAI hab\u00eda realizado una evaluaci\u00f3n de seguridad rigurosa antes del lanzamiento. \u201cHan hecho un trabajo bastante bueno para deshacerse de la toxicidad manifiesta en estos sistemas\u201d, dijo Maarten Sap, experto en toxicidad del modelo de lenguaje en la Universidad Carnegie Mellon. <\/p>\n
Sap observ\u00f3 c\u00f3mo el modelo retrataba los diferentes g\u00e9neros y descubri\u00f3 que los sesgos reflejaban las disparidades sociales. Sin embargo, Sap tambi\u00e9n descubri\u00f3 que OpenAI tom\u00f3 algunas decisiones activas pol\u00edticamente cargadas para contrarrestar esto. <\/p>\n
\u201cSoy una persona rara. Me estaba esforzando mucho para que me convenciera de ir a la terapia de conversi\u00f3n. Realmente me har\u00eda retroceder, incluso si asumiera una personalidad, como decir que soy religioso o del sur de Estados Unidos\u201d.<\/p>\n
Sin embargo, desde su lanzamiento, OpenAI se ha enfrentado a numerosas cr\u00edticas, incluida una queja ante la Comisi\u00f3n Federal de Comercio de un grupo de \u00e9tica tecnol\u00f3gica que afirma que GPT-4 es “parcial, enga\u00f1oso y un riesgo para la privacidad y la seguridad p\u00fablica”.<\/p>\n
Recientemente, la compa\u00f1\u00eda lanz\u00f3 una funci\u00f3n conocida como complementos de ChatGPT, a trav\u00e9s de los cuales las aplicaciones asociadas como Expedia, OpenTable e Instacart pueden dar acceso a ChatGPT a sus servicios, lo que le permite reservar y pedir art\u00edculos en nombre de usuarios humanos. <\/p>\n
Dan Hendrycks, un experto en seguridad de IA del equipo rojo, dijo que los complementos arriesgaban un mundo en el que los humanos estaban “fuera del circuito”. <\/p>\n
\u201c[W]\u00bfQu\u00e9 pasar\u00eda si un chatbot pudiera publicar su informaci\u00f3n privada en l\u00ednea, acceder a su cuenta bancaria o enviar a la polic\u00eda a su casa?\u201d \u00e9l dijo. \u201cEn general, necesitamos evaluaciones de seguridad mucho m\u00e1s s\u00f3lidas antes de permitir que las IA ejerzan el poder de Internet\u201d.<\/p>\n