L’humanité est-elle en train de mourir à cause de l’IA ? « C’est de la science-fiction »

Otto Barten a vu une conférence TED en 2014 qui a grandement influencé sa vision du monde. « C’était une conférence du futurologue suédois Anders Sandberg », a déclaré Barten. « Dans ce document, Sandberg parle de l’avenir de l’humanité. Un concept clé est le « risque existentiel » : le risque que l’humanité s’éteigne, par exemple à cause de l’intelligence artificielle qui se retourne contre les humains. »

La lecture, L’humanité au bord de l’extinction, a été une révélation pour Barten. « A ma grande surprise, il n’y a eu aucun débat social sur ce sujet. » C’est pourquoi il a décidé de créer en 2021 l’Observatoire du risque existentiel, une ONG néerlandaise qui attire l’attention sur le risque d’extinction humaine dû à la future IA (intelligence artificielle, intelligence artificielle). L’Observatoire des risques existentiels le fait à travers des apparitions dans les médias, des articles d’opinion et l’organisation de débats.

L’Observatoire des risques existentiels est également fortement impliqué dans la pétition Contrôler l’IA qui a été signé ce mois-ci par un grand nombre de personnalités. Parmi eux figurent des (anciens) politiciens tels que Lodewijk Asscher, Boris van der Ham, Klaas Dijkhoff et Gert-Jan Segers. Mais aussi des écrivains et des faiseurs d’opinion tels que Maxim Februari, Rutger Bregman, Bas Heijne et Sander Schimmelpenninck.

« L’émergence de l’IA offre des opportunités, mais comporte également d’énormes risques », commence le texte de la pétition. « C’est pourquoi nous appelons les politiciens néerlandais : prenez le contrôle du développement de l’IA. Laissez les humains déterminer à quoi ressemble un avenir avec l’IA. Pas l’inverse. »

Lettre ouverte très discutée

Dans la rangée ‘Initiateurs’, à côté du nom de Barten se trouve celui de Ruben Dieleman, directeur de campagne de l’Observatoire du risque existentiel. Le terme « risque existentiel » apparaît deux fois dans la pétition, et c’est la raison pour laquelle Marleen Stikker, philosophe de la technologie et directrice du Waag Futurelab, ne l’a pas signée.

« Je suis d’accord à 80 %, mais je n’ai pas signé à cause du terme risque existentiel. Cela semble être un concept innocent, mais si vous regardez attentivement, vous verrez que la pétition renvoie à un site Web, pauseai.info. Et là, vous pouvez voir comment cela se passe. Il s’agit de l’extinction de l’humanité par l’IA dans le futur. Il n’y a aucune preuve scientifique pour cela. Vous ne pouvez pas l’exclure, mais l’abominable bonhomme de neige aussi. Et cela détourne l’attention des problèmes concrets du présent tels que la désinformation et la discrimination par l’IA. Je veux parler des droits de la personne, de la démocratie et de l’autodétermination. Pas sur l’extinction de l’espèce humaine.

Le site pauseai.info a été fondé par Joep Meindertsma, co-initiateur de la pétition Control AI. Contrairement à la pétition, le terme « extinction » est explicitement mentionné ici. « Nous sommes en danger d’extinction humaine », dit-il, suivi d’un appel à arrêter le développement de « tous les systèmes plus puissants que le GPT-4 ». [de nieuwste versie van ChatGPT]”. C’est exactement ce que demandait la lettre ouverte très discutée du Future of Life Institute fin mars, signée entre autres par Elon Musk. L’appel était de 23 mots : « Nous appelons tous les laboratoires d’IA à suspendre immédiatement le développement de systèmes d’IA plus puissants que GPT-4 pendant une période d’au moins six mois. »

Une déclaration de 22 mots du Center of AI Safety a suivi le 30 mai : « La réduction du risque d’extinction de l’IA devrait être une priorité mondiale aux côtés d’autres risques sociétaux majeurs tels que les pandémies et la guerre nucléaire ». La déclaration a été signée par de nombreux scientifiques de l’IA, ainsi que par des personnalités de l’industrie technologique telles que le PDG Sam Altman d’OpenAI, le créateur de ChatGPT et le générateur d’images DALLE.

scénario de science-fiction

La pétition néerlandaise est différente : il s’agit d’un appel aux politiciens néerlandais pour qu’ils ne laissent plus le contrôle de l’IA à l’industrie technologique, mais qu’ils le prennent en main : « Prenez un rôle de premier plan en Europe et mettez en œuvre une réglementation de haute qualité grâce à la législation de l’UE des applications d’IA », lit-on dans le texte.

Chaque ministère devrait également enquêter sur « les domaines dans lesquels l’IA aura une influence fondamentale » et déterminer « où des réglementations supplémentaires sont nécessaires pour orienter cette influence dans la bonne direction ». Plus de recherche sur les dangers de l’IA est également préconisée, en créant « 300 postes de recherche à temps plein dans les domaines de la sécurité de l’IA, de l’IA et de l’État de droit et du risque existentiel ».

Que veut dire Barten par « risque existentiel » ? « Le risque existentiel concerne la survie de l’humanité qui est en jeu. Cela peut signifier l’extinction, l’effondrement de la civilisation ou une dystopie permanente. Mais la probabilité d’extinction humaine est beaucoup plus grande que la probabilité de ces deux autres scénarios. En ce qui me concerne, il y a peu d’air entre le risque existentiel et l’extinction.

fidélitéle chroniqueur et informaticien Ilyaz Nasrullah a été approché mais a refusé de signer la pétition. Cette pétition est en fait divisée en deux parties. D’une part les problèmes futurs à court terme, d’autre part les risques existentiels. Je suis moi aussi préoccupé par les problèmes sociaux qui surviennent maintenant que l’industrie technologique lance une IA inachevée sur le marché. Mais il n’y a pas de voie technologique vers l’IA qui pose un risque existentiel pour l’humanité. C’est un scénario de science-fiction.

L’Observatoire des risques existentiels est affilié au mouvement des altruisme efficacedit Nasrallah. « Ils se demandent : comment faire le maximum de bien ? Et puis ils viennent empêcher l’extermination de l’homme, la plus haute charité imaginable.

En 2021, Barten présente son ONG sur le site de l’Altruisme Efficace. Pour l’instant, l’Observatoire des risques existentiels était « autofinancé », écrivait-il à l’époque. « Nous avons maintenant 3 ETP, je suis l’un d’entre eux », déclare-t-il désormais. « Je travaille donc à plein temps pour l’Observatoire des risques existentiels. Nous sommes en partie financés par Maurice Schuurmans, un milliardaire technologique néerlandais.

Jeu d’échecs

Sur le site de l’Observatoire des risques existentiels, « l’IA non alignée » est identifiée comme le risque principal : l’IA qui ne fait pas ce que les humains veulent. Le risque d’extinction au cours des 100 prochaines années est de 10%, selon les recherches de l’Observatoire du risque existentiel. Référence est faite à un livre de Toby Ord, l’un des fondateurs de l’altruisme efficace. Il a publié le livre en 2021 Le précipice : risque existentiel et avenir de l’humanité et est affilié au Future of Humanity Institute d’Oxford, qui est financé par Elon Musk, entre autres.

Barten reconnaît que son ONG est affiliée au mouvement de l’altruisme effectif. « La différence, c’est qu’ils regardent surtout la solution technique. Comment pouvez-vous vous assurer que l’IA continue de faire ce que nous voulons en tant qu’humains ? Nous voulons avant tout stimuler le débat de société sur le risque existentiel et souhaitons une recherche scientifique indépendante sur le sujet.

Selon Barten, la grande question est : que se passera-t-il si l’IAG, l’Intelligence Générale Artificielle, est introduite, une forme d’IA plus intelligente que les humains ? «On n’a pas beaucoup réfléchi à cela. Comme des organisations telles que Waag Futurelab, nous pensons que nous devrions surveiller de manière critique l’IA actuelle, mais nous pensons également : qui contrôlera la future super intelligence ? »

Nous ne savons pas quelle sera la puissance de l’IA du futur et si nous pouvons encore la contrôler, déclare Barten. « Un système d’IA comme ChatGPT reste actuellement sur le serveur sur lequel nous l’avons installé. Mais à l’avenir, l’IA pourrait commencer à s’autoriser l’accès à d’autres emplacements. Il peut servir à pirater des banques, des avions ou même des armes nucléaires. Je ne dis pas que tous les systèmes d’IA feront cela, mais même s’il n’y en a que quelques-uns, c’est dangereux. »

Nous ne pouvons pas gagner une bataille contre un système d’IA plus intelligent que les humains, déclare Barten. Il le compare à une partie d’échecs contre un grand maître comme Magnus Carlsen. « Je ne sais pas ce qu’il va faire, quel sera son prochain coup, mais je vais perdre. »

Alors que Stikker et Nasrullah qualifient le scénario d’extinction de non scientifique, Barten fait référence aux scientifiques de l’IA qui ont signé fin mai la pétition d’extinction du Center for AI Safety. « 262 scientifiques éminents de l’IA pensent apparemment que le risque est réel. Et maintenant, le patron de l’ONU Guterres, la Maison Blanche et le Premier ministre britannique Sunak ont ​​également reconnu le risque existentiel de l’IA.

Nasrullah considère cela comme une stratégie réussie pour l’industrie technologique. « Vous voyez vraiment un large refus de la part de toutes les organisations impliquées dans la technologie et les droits de l’homme de signer ce genre de pétitions. Dans notre monde, nous connaissons depuis bien plus longtemps le lobby de l’Observatoire du risque existentiel et les altruistes efficaces. Il y a un lobby de l’industrie technologique pour éviter de parler des dangers de l’IA dans le présent en attirant l’attention sur les risques d’une future superintelligence.

« Lutte de camp »

Nasrullah n’est pas le seul à le voir ainsi. Magazine technique Examen de la technologie MIT lui a consacré un article cette semaine : Comment le risque existentiel est devenu le plus grand mème de l’IA. L’essentiel : les entreprises technologiques aiment déplacer les préoccupations concernant l’IA vers un avenir lointain, où leurs intérêts actuels ne sont pas en jeu. « Lorsque nous parlons d’un futur lointain, lorsque nous parlons de risques mythologiques, nous recadrons le problème comme celui qui existe dans un monde imaginaire, et les solutions ne peuvent exister que dans ce monde imaginaire », a déclaré Meredith Whittaker, fondatrice du laboratoire de recherche AI. Now Institute, dans l’article. En d’autres termes : le risque x, comme on appelle simplement le risque existentiel, est un paratonnerre que la Big Tech utilise pour échapper à la réglementation dans le présent.

Barten ne pense-t-il pas que son histoire est une distraction des problèmes d’IA dans le présent ? « Non, je pense qu’il y a de la place pour parler des deux. Aussi sur les problèmes actuels tels que les préjugés, la discrimination, le chômage imminent, les inégalités, la concentration du pouvoir, la désinformation. Nous sommes également préoccupés par cela. C’est pourquoi nous soutenons l’EU AI Act et cela seul montre que nous ne sommes pas une extension de Big Tech, car ils pensent que les règles européennes sont trop strictes. Mais nous voulons également attirer l’attention sur les risques de l’IA du futur.

L’ancien député Kees Verhoeven et l’ancien stratège de campagne du VVD Mark Thiessen font également partie des initiateurs de la pétition. « Nous avons parlé du texte », dit Stikker. « Ils sont principalement préoccupés par les problèmes du présent, mais voulaient également garder les clubs à risque X à bord. »

En conséquence, de nombreuses organisations impliquées dans la technologie et les droits de l’homme, telles que Bits of Freedom, Amnesty et Waag Futurelab, n’ont pas signé la pétition. Verhoeven le regrette. « Une bataille de camp a éclaté dont je ne me sens pas partie prenante », déclare Verhoeven. « Mark Thiessen et moi sommes particulièrement préoccupés par les problèmes actuels d’IA. Mais nous avons pensé que ce serait une bonne idée de nommer autant de risques différents que possible. Quant à l’abominable bonhomme de neige, il ne pose aucun problème dans le présent. L’IA le fait. Donc cette comparaison ne fonctionne pas. »

Il n’est pas particulièrement préoccupé par le «risque existentiel», dit Verhoeven. « Mais je ne peux pas l’exclure. Nous ne savons pas comment l’IA va se développer, n’est-ce pas ? En ce qui me concerne, différentes préoccupations peuvent coexister. J’ai pensé : tout le monde peut participer.

L’essayiste Maxim Februari, qui écrit beaucoup sur l’IA, a décidé de signer la pétition. « Je préférerais aborder sobrement les problèmes actuels, comme les conséquences de l’IA pour le droit. Je pense que tout le monde l’a pesé différemment. Marleen Stikker et moi ne sommes pas loin l’un de l’autre. Mais la question est : comment l’inscrire à l’agenda politique ? Le risque existentiel n’est pas quelque chose qui me préoccupe. Et je vois aussi les objections. Mais apparemment cela fonctionne. La presse et les politiciens ont finalement été secoués.