Otto Barten vio una charla TED en 2014 que influyó mucho en su visión del mundo. “Fue una conferencia del futurista sueco Anders Sandberg”, dijo Barten. “En él, Sandberg habla sobre el futuro de la humanidad. Un concepto clave es el ‘riesgo existencial’: el riesgo de que la humanidad desaparezca, por ejemplo, debido a la inteligencia artificial que se vuelve contra los humanos”.
La lectura, La humanidad al borde de la extinción, fue una revelación para Barten. “Para mi sorpresa, no hubo debate social sobre este tema en absoluto”. Por eso decidió montar en 2021 el Observatorio de Riesgo Existencial, una ONG holandesa que llama la atención sobre el riesgo de extinción humana por la futura IA (inteligencia artificial, inteligencia artificial). El Observatorio del Riesgo Existencial lo hace a través de apariciones en los medios, artículos de opinión y debates organizativos.
El Observatorio del Riesgo Existencial también está muy implicado en la petición Controlar la IA que fue firmado este mes por un gran número de personas destacadas. Entre ellos se encuentran (antiguos) políticos como Lodewijk Asscher, Boris van der Ham, Klaas Dijkhoff y Gert-Jan Segers. Pero también escritores y formadores de opinión como Maxim Februari, Rutger Bregman, Bas Heijne y Sander Schimmelpenninck.
“La aparición de la IA ofrece oportunidades, pero también conlleva enormes riesgos”, comienza el texto de la petición. “Es por eso que hacemos un llamado a los políticos holandeses: tomen el control del desarrollo de la IA. Deje que los humanos determinen cómo es un futuro con IA. No de la otra manera.”
Carta abierta muy discutida
En la fila ‘Iniciadores’, junto al nombre de Barten está el de Ruben Dieleman, jefe de campaña del Observatorio de Riesgo Existencial. El término ‘riesgo existencial’ aparece dos veces en la petición, y esa fue la razón por la que Marleen Stikker, filósofa tecnológica y directora de Waag Futurelab, no la firmó.
“Estoy de acuerdo con el 80 por ciento, pero no firmé por el término riesgo existencial. Parece un concepto inocente, pero si miras de cerca, verás que la petición enlaza con un sitio web, pauseai.info. Y allí se puede ver cómo se resuelve. Se trata de la extinción de la humanidad por la IA en el futuro. No hay evidencia científica para eso. No se puede descartar, pero también el abominable muñeco de nieve. Y distrae de problemas concretos del presente como la desinformación y la discriminación por parte de la IA. Quiero hablar de derechos humanos, democracia y autodeterminación. No sobre la extinción de la especie humana”.
El sitio web pauseai.info fue fundado por Joep Meindertsma, co-iniciador de Petition Control AI. A diferencia de la petición, aquí se menciona explícitamente el término ‘extinción’. “Estamos en peligro de extinción humana”, dice, seguido de un llamado a detener el desarrollo de “todos los sistemas más poderosos que GPT-4”. [de nieuwste versie van ChatGPT]”. Eso es exactamente lo que pedía la muy discutida carta abierta del Future of Life Institute a fines de marzo, que fue firmada por Elon Musk, entre otros. La llamada tenía 23 palabras: “Hacemos un llamado a todos los laboratorios de IA para que detengan de inmediato el desarrollo de sistemas de IA más potentes que GPT-4 durante un período de al menos seis meses”.
El 30 de mayo siguió una declaración de 22 palabras del Centro de Seguridad de la IA: “Reducir el riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos sociales importantes, como las pandemias y la guerra nuclear”. La declaración fue firmada por muchos científicos de IA, así como por figuras de la industria tecnológica como el director ejecutivo Sam Altman de OpenAI, el fabricante de ChatGPT y el generador de imágenes DALLE.
guión de ciencia ficción
La petición holandesa es diferente: es un llamado a los políticos holandeses para que ya no dejen el control de la IA en manos de la industria tecnológica, sino que lo tomen en sus propias manos: “Asuman un papel de liderazgo en Europa e implementen una regulación de alta calidad a través de la legislación de la UE. de aplicaciones de IA”, dice el texto.
Cada ministerio también debe investigar “en qué áreas la IA tendrá una influencia fundamental” y trazar “dónde se necesitan regulaciones adicionales para dirigir esa influencia en la dirección correcta”. También se aboga por una mayor investigación sobre los peligros de la IA, mediante la creación de “300 puestos de investigación a tiempo completo en los campos de la seguridad de la IA, la IA y el Estado de derecho y el riesgo existencial”.
¿Qué quiere decir Barten con ‘riesgo existencial’? “El riesgo existencial se trata de que la supervivencia de la humanidad esté en juego. Puede significar extinción, el colapso de la civilización o una distopía permanente. Pero la probabilidad de extinción humana es mucho mayor que la probabilidad de esos otros dos escenarios. En lo que a mí respecta, hay poco aire entre el riesgo existencial y la extinción”.
FidelidadSe acercó al columnista y científico informático Ilyaz Nasrullah, pero se negó a firmar la petición. Esta petición en realidad se divide en dos partes. Por un lado los problemas futuros a corto plazo, por otro lado los riesgos existenciales. A mí también me preocupan los problemas sociales que surgen ahora que la industria tecnológica está lanzando al mercado una IA sin terminar. Pero no existe un camino tecnológico hacia la IA que suponga un riesgo existencial para la humanidad. Eso es un guión de ciencia ficción”.
El Observatorio del Riesgo Existencial está afiliado al movimiento de altruismo efectivodice Nasrullah. “Se preguntan: ¿cómo puedes hacer el máximo bien? Y luego vienen a prevenir el exterminio del hombre, la mayor caridad imaginable”.
En 2021, Barten presentó su ONG en el sitio web de Altruismo Efectivo. Por el momento, el Observatorio de Riesgo Existencial se ‘autofinanciaba’, escribió en ese momento. “Ahora tenemos 3 fte, yo soy uno de ellos”, dice ahora. “Así que trabajo a tiempo completo para el Observatorio de Riesgo Existencial. Estamos financiados en parte por Maurice Schuurmans, un multimillonario tecnológico holandés”.
Ajedrez
En el sitio del Observatorio de Riesgo Existencial, la “IA no alineada” se identifica como el principal riesgo: IA que no hace lo que los humanos quieren. El riesgo de extinción en los próximos 100 años es del 10 por ciento, según una investigación del Observatorio de Riesgo Existencial. Se hace referencia a un libro de Toby Ord, uno de los fundadores del altruismo efectivo. Publicó el libro en 2021. El precipicio: riesgo existencial y el futuro de la humanidad y está afiliado al Instituto del Futuro de la Humanidad en Oxford, financiado por Elon Musk, entre otros.
Barten reconoce que su ONG está afiliada al movimiento del altruismo efectivo. “La diferencia es que miran principalmente la solución técnica. ¿Cómo puede asegurarse de que la IA continúe haciendo lo que queremos como humanos? Sobre todo, queremos estimular el debate social sobre el riesgo existencial y queremos una investigación científica independiente sobre el tema”.
Según Barten, la gran pregunta es: ¿qué pasará si se introduce AGI, Inteligencia General Artificial, una forma de IA que es más inteligente que los humanos? “No se ha pensado mucho en eso. Al igual que organizaciones como Waag Futurelab, creemos que debemos monitorear críticamente la IA actual, pero también pensamos: ¿quién controlará la futura súper inteligencia?
No sabemos qué tan poderosa será la IA del futuro y si aún podemos controlarla, dice Barten. “Un sistema de IA como ChatGPT actualmente permanece en el servidor en el que lo instalamos. Pero en el futuro, la IA puede comenzar a permitirse el acceso a otras ubicaciones. Puede usarse para piratear bancos, aviones o incluso armas nucleares. No digo que todos los sistemas de IA hagan eso, pero incluso si solo hay unos pocos, es peligroso”.
No podemos ganar una batalla contra un sistema de IA que es más inteligente que los humanos, dice Barten. Lo compara con una partida de ajedrez contra un gran maestro como Magnus Carlsen. “No sé qué hará, cuál será su próximo movimiento, pero perderé”.
Mientras que Stikker y Nasrullah califican el escenario de extinción como poco científico, Barten se refiere a los científicos de IA que firmaron la petición de extinción del Centro para la Seguridad de la IA a finales de mayo. “262 científicos líderes en IA aparentemente piensan que el riesgo es real. Y ahora el jefe de la ONU, Guterres, la Casa Blanca y el primer ministro británico, Sunak, también han reconocido el riesgo existencial de la IA”.
Nasrullah ve esto como una estrategia exitosa para la industria tecnológica. “Realmente ves una amplia negativa de todas las organizaciones involucradas en tecnología y derechos humanos para firmar este tipo de peticiones. En nuestro mundo conocemos el lobby del Observatorio de Riesgo Existencial y los altruistas efectivos desde hace mucho más tiempo. Hay un cabildeo de la industria tecnológica para evitar hablar sobre los peligros de la IA en el presente al cambiar la atención a los riesgos de una futura superinteligencia”.
‘Lucha de campo’
Nasrullah no es el único que lo ve así. Revista de tecnología Revisión de tecnología del MIT le dedicó un artículo esta semana: Cómo el riesgo existencial se convirtió en el mayor meme de la IA. La esencia: a las empresas de tecnología les gusta trasladar las preocupaciones sobre la IA a un futuro lejano, donde sus intereses actuales no están en juego. “Cuando hablamos del futuro lejano, cuando hablamos de riesgos mitológicos, reformulamos el problema como uno que existe en un mundo de fantasía, y las soluciones solo pueden existir en ese mundo de fantasía”, dijo Meredith Whittaker, fundadora del laboratorio de investigación AI. Ahora Instituto, en el artículo. En otras palabras: el riesgo x, como se llama simplemente riesgo existencial, es un pararrayos que las grandes tecnologías utilizan para escapar de la regulación en el presente.
¿No cree Barten que su historia es una distracción de los problemas de la IA en el presente? “No, creo que hay espacio para hablar de ambos. También sobre problemas actuales como los prejuicios, la discriminación, el desempleo inminente, la desigualdad, la concentración de poder, la desinformación. También nos preocupa eso. Es por eso que apoyamos la Ley de IA de la UE y eso solo demuestra que no somos una extensión de Big Tech, porque piensan que las reglas europeas son demasiado estrictas. Pero también queremos llamar la atención sobre los riesgos de la IA del futuro”.
El ex miembro del parlamento Kees Verhoeven y el ex estratega de campaña de VVD Mark Thiessen también se encuentran entre los iniciadores de la petición. “Hablamos sobre el texto”, dice Stikker. “Están principalmente preocupados por los problemas del presente, pero también querían mantener a bordo a los clubes de riesgo x”.
Como resultado, muchas organizaciones involucradas en tecnología y derechos humanos, como Bits of Freedom, Amnesty y Waag Futurelab, no han firmado la petición. Verhoeven lamenta eso. “Ha surgido una batalla campal de la que no me siento parte”, dice Verhoeven. “Mark Thiessen y yo estamos particularmente preocupados por los problemas actuales de IA. Pero pensamos que sería una buena idea nombrar tantos riesgos diferentes como sea posible. En cuanto al abominable muñeco de nieve, no causa ningún problema en el presente. La IA lo hace. Así que esa comparación no funciona”.
No está particularmente preocupado por el ‘riesgo existencial’, dice Verhoeven. “Pero no puedo descartarlo. No sabemos cómo se desarrollará la IA, ¿verdad? En lo que a mí respecta, diferentes preocupaciones pueden coexistir. Pensé: todos pueden unirse”.
El ensayista Maxim Februari, que escribe mucho sobre IA, decidió firmar la petición. “Preferiría discutir los problemas actuales con seriedad, como las consecuencias de la IA para la ley. Creo que todos lo sopesaron de manera diferente. Marleen Stikker y yo no estamos muy separados. Pero la pregunta es: ¿cómo lo consigues en la agenda política? El riesgo existencial no es algo que me preocupe. Y también veo las objeciones. Pero aparentemente esto funciona. La prensa y los políticos finalmente han sido sacudidos”.
Una versión de este artículo también apareció en el periódico del 24 de junio de 2023.