Dans le jeu du “t\u00e9l\u00e9phone \u00e9br\u00e9ch\u00e9”, un groupe de personnes transmet un message en secret. Souvent, le message initial devient m\u00e9connaissable au fur et \u00e0 mesure qu’il se propage. Le probl\u00e8me semble similaire pour les \u00a0agents d’intelligence artificielle (IA)\u00a0, qui peuvent \u00eatre sujets \u00e0 des erreurs accumul\u00e9es mena\u00e7ant l’int\u00e9grit\u00e9 des r\u00e9sultats obtenus.<\/p>\n
Toby Ord<\/strong>, chercheur \u00e0 l’Universit\u00e9 d’Oxford, a r\u00e9cemment publi\u00e9 un \u00a0\u00e9tude\u00a0 sur les agents d’IA. Il aborde l’importance du \u00a0probl\u00e8me des erreurs cumulatives\u00a0, qui survient lorsque ces syst\u00e8mes essaient de r\u00e9soudre des t\u00e2ches de fa\u00e7on autonome. Par exemple, si un agent d’IA encha\u00eene des \u00e9tapes pour cr\u00e9er un code, un seul \u00a0erreur\u00a0 \u00e0 une \u00e9tape peut compromettre l’ensemble du processus, rendant le r\u00e9sultat final difficilement pertinent.<\/p>\n La dur\u00e9e de vie<\/strong> d’un agent d’IA joue un r\u00f4le crucial. Geoffrey Hinton, pionnier de l’IA, \u00e9voquait le concept de \u00a0“demi-vie” des agents\u00a0 d’IA. Une intelligence artificielle op\u00e9rant durant deux heures pourrait subir une perte de pr\u00e9cision significative. En effet, les \u00a0erreurs commencent \u00e0 s’accumuler\u00a0 et donc \u00e0 nuire \u00e0 la performance. Des experts tels que Benjamin Todd l’expliquent d’une autre mani\u00e8re : une IA peut fonctionner correctement durant une heure, mais au-del\u00e0, les erreurs se multiplient. Cela souligne un point essentiel : \u00a0la fiabilit\u00e9 des agents d\u2019IA diminue\u00a0 avec le temps d’ex\u00e9cution.<\/p>\n Les humains \u00e9galement en souffrent<\/strong>. Petit \u00e0 petit, nous commettons des erreurs dans des t\u00e2ches prolong\u00e9es. Selon l’\u00e9tude d’Ord, la \u00a0taux de r\u00e9ussite\u00a0 humain d\u00e9cro\u00eet au fil du temps : apr\u00e8s 15 minutes, il est d’environ 75 %, et apr\u00e8s une heure et demie, il tombe \u00e0 50 %. Ce constat n\u2019est pas \u00e9tranger au fonctionnement des IA, o\u00f9 un simple \u00a0d\u00e9tail n\u00e9glig\u00e9\u00a0 peut mettre en p\u00e9ril le r\u00e9sultat final d’une s\u00e9rie d’actions.<\/p>\n Yann LeCun<\/strong>, \u00e0 la t\u00eate des recherches en IA chez Meta, a souvent mis en garde contre les limites des \u00a0mod\u00e8les de langage\u00a0 (LLM). En juin 2023, il a signal\u00e9 que ces mod\u00e8les peuvent g\u00e9n\u00e9rer des informations erron\u00e9es et nuire \u00e0 la qualit\u00e9 des r\u00e9ponses. Plus la r\u00e9ponse est longue, plus il est probable qu’elle s’\u00e9loigne de la r\u00e9alit\u00e9. Cela soul\u00e8ve des questions sur la n\u00e9cessit\u00e9 d\u2019un contr\u00f4le de qualit\u00e9 dans les syst\u00e8mes d’IA.<\/p>\n Pour pallier ces probl\u00e8mes, il est essentiel de \u00a0r\u00e9duire le taux d’erreur\u00a0 des mod\u00e8les d’IA. Dans l’ing\u00e9nierie logicielle, on recommande souvent une r\u00e9vision pr\u00e9coce du code. En appliquant une approche “shift left”, les erreurs d\u00e9tect\u00e9es t\u00f4t peuvent \u00eatre surmont\u00e9es plus facilement et \u00e0 moindre co\u00fbt. \u00c0 l’inverse, n\u00e9gliger ce contr\u00f4le entra\u00eene une augmentation exponentielle du co\u00fbt de correction au fur et \u00e0 mesure que l’on avance dans le cycle de vie du d\u00e9veloppement.<\/p>\n Anthropic<\/strong> a r\u00e9cemment d\u00e9montr\u00e9 qu’une solution potentielle \u00e0 ce probl\u00e8me pourrait \u00eatre l’usage de \u00a0syst\u00e8mes multi-agents\u00a0. L’id\u00e9e est que plusieurs agents d’IA travaillent en parall\u00e8le pour confronter leurs r\u00e9sultats. Cela pourrait r\u00e9duire consid\u00e9rablement les risques d\u2019erreurs accumul\u00e9es, car chaque agent peut servir de \u00a0v\u00e9rificateur\u00a0 des autres.<\/p>\n \u00c0 ce sujet, Benjamin Todd a pr\u00e9cis\u00e9 que la \u00a0taux d’erreur\u00a0 des mod\u00e8les d’IA se r\u00e9duit d’environ la moiti\u00e9 tous les cinq mois. \u00c0 ce rythme, nous pourrions attendre de ces agents la capacit\u00e9 de r\u00e9aliser avec succ\u00e8s plusieurs t\u00e2ches complexes dans les ann\u00e9es \u00e0 venir. Cependant, malgr\u00e9 leurs am\u00e9liorations, des pr\u00e9occupations demeurent concernant les hallucinations<\/strong> des mod\u00e8les IA. M\u00eame si la performance g\u00e9n\u00e9rale des syst\u00e8mes s’am\u00e9liore, le r\u00e9cent article dans \u00a0The New York Times\u00a0 souligne que ces mod\u00e8les semblent avoir un probl\u00e8me accru de production de r\u00e9ponses incorrectes.<\/p>\n En somme, bien que les technologies d’IA en soient \u00e0 leurs d\u00e9buts, elles posent un d\u00e9fi fascinant et complexe. La n\u00e9cessit\u00e9 de r\u00e9duire les erreurs, d’am\u00e9liorer les mod\u00e8les et de trouver des solutions innovantes pour optimiser les performances ne fait que commencer. Cela suscite de nombreuses discussions autour de la conception et de l’impl\u00e9mentation de ces syst\u00e8mes dans divers domaines, ainsi qu’une r\u00e9flexion sur les implications qu’ils peuvent avoir pour l\u2019avenir.<\/p>\nLa Dur\u00e9e de Vie des Agents IA<\/h2>\n
Similarit\u00e9s avec les Performances Humaines<\/h2>\n
Les Avertissements d’Yann LeCun<\/h2>\n
L’Importance de la Corrections des Erreurs<\/h2>\n
Vers des Syst\u00e8mes Multi-Agents<\/h2>\n
Les Progr\u00e8s Constantes des Mod\u00e8les d’IA<\/h2>\n