OpenAI anunció el 26 de octubre la creación de un nuevo equipo que tendrá la difícil tarea de evaluar y revisar los modelos de inteligencia artificial diseñados por la empresa. Ella espera anticipar el…
OpenAI anunció el 26 de octubre la creación de un nuevo equipo que tendrá la difícil tarea de evaluar y revisar los modelos de inteligencia artificial diseñados por la empresa. Ella espera anticipar el “ riesgos catastróficos » qué puede representar la IA cuando se utiliza con fines maliciosos.
OpenAI preocupada por el uso malicioso de sus herramientas de inteligencia artificial
Esta nueva unidad, denominada Preparación, probará la solidez de los modelos de IA generativa para evitar su uso indebido. Este equipo está dirigido por Aleksander Madry, profesor del Instituto Tecnológico de Massachusetts (MIT) y director del Centro de Aprendizaje Automático Implementable del MIT. Se unió a OpenAI en mayo pasado.
Con la llegada de una IA cada vez más compleja y eficiente, los riesgos son cada vez más frecuentes y peligrosos. OpenAI menciona en primer lugar el cibercrimen, donde los usuarios malintencionados no dudan en explotar sus herramientas para robar identidades, generar códigos maliciosos o automatizar campañas de phishing a gran escala. Ella también insiste en “ amenazas químicas, biológicas, radiológicas y nucleares, » que la sociedad considera críticos.
Finalmente, la empresa está preocupada por la próxima llegada de modelos que utilizan “ Técnicas autónomas de reproducción y adaptación. «. Tecnología que reduciría el control que los humanos tienen sobre estas IA, lo que podría tener consecuencias desastrosas si se usa de forma maliciosa.
En mayo pasado, más de 350 personas firmaron una carta abierta destacando los riesgos relacionados con el uso incontrolado de la IA. “ Limitar el riesgo de extinción debido a la inteligencia artificial debería ser una prioridad global, junto con otros riesgos que afectan a toda la sociedad, incluidas las pandemias y la guerra nuclear. », especifica el documento firmado, entre otros, por Sam Altman, director de OpenAI. Este último incluso pidió que se regulara el sector de la IA en Estados Unidos.
Para ir más allá, OpenAI lanzó un desafío abierto al público, llamado AI Preparedness Challenge. Se trata de ponerse en la piel de un usuario malintencionado que tendría acceso ilimitado a las herramientas de la empresa: DALL-E 3, ChatGPT, GPT-4, Whisper, Voice, etc. Los participantes tienen hasta el 31 de diciembre para detallar los usos que han imaginado, así como los protocolos que implementarían para mitigar los riesgos asociados con el uso nocivo de las herramientas. Las diez mejores propuestas recibirán 25.000 dólares en créditos API.
En abril, OpenAI lanzó su recompensa por errores, ofreciendo a los especialistas y desarrolladores de IA la oportunidad de encontrar fallas en sus herramientas. La empresa ofreció una recompensa de entre 200 y 20.000 dólares, dependiendo de la gravedad del problema informado y su impacto en el uso malicioso.