Andrej Karpathy : Un regard critique sur la situation actuelle de l’IA
Andrej Karpathy, cofondateur d’OpenAI et ancien directeur de l’IA chez Tesla, a récemment partagé ses préoccupations concernant l’avenir de l’intelligence artificielle (IA). Dans une interview approfondie avec Dwarkesh Patel, Karpathy se distingue par son avis, révélant une vision plus nuancée que le optimisme ambiant. Selon lui, les systèmes d’IA que nous utilisons actuellement ne sont rien de plus que des “fantômes numériques”, se contentant d’imiter des modèles humains sans vraiment comprendre le comportement derrière ces interactions.
Une prédiction audacieuse pour l’AGI
Karpathy avance une prédiction marquée : il estime que la AGI (intelligence artificielle générale) fonctionnelle n’arrivera pas en 2026, comme certains le suggèrent, mais plutôt en 2035. Ce retard prévu souligne l’importance de prendre en compte les défis réels auxquels nous faisons face dans le développement de l’IA.
Pourquoi cette perspective est-elle cruciale ?
Les comparaisons entre les IA et les cerveaux biologiques façonnent le discours technologique actuel, influençant ainsi de nombreuses décisions d’investissement. Karpathy met en garde contre cette analogie, la qualifiant de trompeuse et capable de susciter des attentes irréalistes.
L’expérience de Tesla : une fenêtre sur la réalité
Avec cinq années d’expérience en tant que responsable de la conduite autonome chez Tesla, Karpathy a acquis une perspective unique sur les écarts entre les démos impressionnantes et les produits fonctionnels. Pendant son mandat, il a vu comment les attentes peuvent être démesurées comparées aux résultats tangibles.
Les limites de l’apprentissage moderne
Karpathy critique avec virulence le apprentissage par renforcement actuel, qu’il qualifie de “terrible”. Il explique que les systèmes récompensent des trajectoires complètes, y compris les erreurs, au lieu de se concentrer sur les étapes individuelles, comme les humains le feraient. Par exemple, si un modèle résout un problème après cent tentatives infructueuses, il renforce toute la démarche, erreurs comprises.
Le concept de “colapsus d’entropie”
Il évoque également le phénomène de colapsus d’entropie, où les modèles d’IA, lorsqu’ils génèrent des données synthétiques, produisent des réponses qui ne représentent qu’un espace restreint de possibilités. En demandant une blague à ChatGPT, par exemple, on reçoit souvent les mêmes variantes répétées. Cette incapacité à penser en dehors de leurs données mémorisées empêche les modèles de raisonner correctement.
Une critique de la génération de code
Lors de son temps chez OpenAI, Karpathy a constaté que des outils comme Claude Code étaient inefficaces pour générer du code complexe. Ces systèmes peuvent fonctionner pour du code répétitif disponible sur internet, mais échouent face à des architectures nouvelles. Il a déclaré que les entreprises produisaient parfois des “slops” pour lever des fonds, ce qui soulève des questions quant à la qualité des modèles proposés.
Propositions pour un meilleur avenir de l’IA
La proposition de Karpathy s’articule autour de la création de modèles plus compacts, avec un milliard de paramètres contre les énormes modèles d’aujourd’hui. Ces modèles seraient entraînés avec des données soigneusement sélectionnées, intégrant des algorithmes de pensée, mais pas nécessairement des connaissances factuelles. Ils seraient capables d’interroger l’information au besoin, à l’image du fonctionnement humain.
Un tournant inattendu dans la croissance de l’IA
Contrairement à la plupart des experts anticipant une explosion soudaine de l’intelligence, Karpathy prédit une croissance continue et progressive. Selon lui, les ordinateurs, les téléphones portables et l’Internet n’ont pas brusquement altéré la courbe du PIB, qui reste stable à environ 2% par an. Bien que nous puissions être témoins de progrès significatifs, ces avancées se déroulent à un rythme lent, faussant notre perception d’une révolution imminente.
La vision de Karpathy rappelle à tous que, malgré les avancées technologiques spectaculaires, l’IA doit encore parcourir un long chemin avant d’atteindre ses aspirations pleinement fonctionnelles. Son évaluation exige une réflexion critique sur ce que nous espérons réaliser avec l’intelligence artificielle et nous rappelle que la route est encore pleine de défis à surmonter.