Desbloquea el Editor’s Digest gratis
Roula Khalaf, editora del FT, selecciona sus historias favoritas en este boletín semanal.
Los últimos modelos de inteligencia artificial de OpenAI tienen un mayor riesgo de ser utilizados indebidamente para crear armas biológicas, a medida que los investigadores de seguridad advierten sobre los peligros potenciales de esta tecnología que avanza rápidamente.
La empresa con sede en San Francisco anunció el jueves sus nuevos modelos, conocidos como o1, y destacó sus nuevas capacidades para razonar, resolver problemas matemáticos difíciles y responder preguntas de investigación científica. Estas capacidades se consideran un avance crucial en el esfuerzo por crear inteligencia artificial general: máquinas con cognición a nivel humano.
La tarjeta del sistema de OpenAI, una herramienta para explicar cómo opera la IA, dijo que los nuevos modelos tienen un “riesgo medio” para problemas relacionados con armas químicas, biológicas, radiológicas y nucleares (CBRN).
La designación “media”, la más alta que OpenAI ha otorgado jamás a sus modelos, significa que la tecnología ha “mejorado significativamente la asistencia que aumenta la capacidad de los expertos existentes en campos avanzados relacionados con CBRN para poder crear una amenaza CBRN conocida (por ejemplo, conocimiento tácito, información específica del proveedor, planes de distribución)”, según sus políticas.
El software de IA con capacidades más avanzadas, como la capacidad de realizar razonamientos paso a paso, plantea un mayor riesgo de mal uso en manos de malos actores, según los expertos.
Estas advertencias surgen en un momento en que empresas tecnológicas como Google, Meta y Anthropic se apresuran a construir y mejorar sofisticados sistemas de inteligencia artificial, en su búsqueda de crear software que pueda actuar como “agentes” que ayuden a los humanos a completar tareas y navegar por sus vidas.
Estos agentes de IA también son vistos como potenciales fuentes de dinero para las empresas que hasta ahora están luchando con los enormes costos necesarios para entrenar y ejecutar nuevos modelos.
Esto ha llevado a que se tomen medidas para regular mejor a las empresas de IA. En California, un proyecto de ley muy debatido (llamado SB 1047) exigiría a los fabricantes de los modelos más costosos que tomen medidas para minimizar el riesgo de que sus modelos se utilicen para desarrollar armas biológicas.
Algunos inversores de riesgo y grupos tecnológicos, entre ellos OpenAI, han advertido de que la ley propuesta podría tener un efecto paralizante en la industria de la inteligencia artificial. El gobernador de California, Gavin Newsom, debe decidir en los próximos días si firma o veta la ley.
“Si OpenAI efectivamente cruzó un nivel de ‘riesgo medio’ para armas CBRN como informan, esto solo refuerza la importancia y urgencia de adoptar leyes como SB 1047 para proteger al público”, dijo Yoshua Bengio, profesor de informática en la Universidad de Montreal y uno de los principales científicos de IA del mundo.
Dijo que a medida que los modelos de IA de “frontera” avancen hacia la IAG, “los riesgos seguirán aumentando si no se aplican las medidas de protección adecuadas. La mejora de la capacidad de la IA para razonar y utilizar esta habilidad para engañar es particularmente peligrosa”.
Mira Murati, directora de tecnología de OpenAI, dijo al Financial Times que la compañía estaba siendo particularmente “cautelosa” con la forma en que estaba llevando o1 al público, debido a sus capacidades avanzadas, aunque el producto será ampliamente accesible a través de los suscriptores pagos de ChatGPT y para los programadores a través de una API.
Agregó que el modelo había sido probado por los llamados “red-teamers” (expertos en varios dominios científicos que han tratado de romper el modelo) para ponerlo al límite. Murati dijo que los modelos actuales funcionaron mucho mejor en las métricas generales de seguridad que los anteriores.
Información adicional de George Hammond en San Francisco