Les Défis des Agentes d’IA et les Erreurs Accumulées
Dans le jeu du “téléphone ébréché”, un groupe de personnes transmet un message en secret. Souvent, le message initial devient méconnaissable au fur et à mesure qu’il se propage. Le problème semble similaire pour les agents d’intelligence artificielle (IA) , qui peuvent être sujets à des erreurs accumulées menaçant l’intégrité des résultats obtenus.
Erreurs Accumulées et IA
Toby Ord, chercheur à l’Université d’Oxford, a récemment publié un étude sur les agents d’IA. Il aborde l’importance du problème des erreurs cumulatives , qui survient lorsque ces systèmes essaient de résoudre des tâches de façon autonome. Par exemple, si un agent d’IA enchaîne des étapes pour créer un code, un seul erreur à une étape peut compromettre l’ensemble du processus, rendant le résultat final difficilement pertinent.
La Durée de Vie des Agents IA
La durée de vie d’un agent d’IA joue un rôle crucial. Geoffrey Hinton, pionnier de l’IA, évoquait le concept de “demi-vie” des agents d’IA. Une intelligence artificielle opérant durant deux heures pourrait subir une perte de précision significative. En effet, les erreurs commencent à s’accumuler et donc à nuire à la performance. Des experts tels que Benjamin Todd l’expliquent d’une autre manière : une IA peut fonctionner correctement durant une heure, mais au-delà, les erreurs se multiplient. Cela souligne un point essentiel : la fiabilité des agents d’IA diminue avec le temps d’exécution.
Similarités avec les Performances Humaines
Les humains également en souffrent. Petit à petit, nous commettons des erreurs dans des tâches prolongées. Selon l’étude d’Ord, la taux de réussite humain décroît au fil du temps : après 15 minutes, il est d’environ 75 %, et après une heure et demie, il tombe à 50 %. Ce constat n’est pas étranger au fonctionnement des IA, où un simple détail négligé peut mettre en péril le résultat final d’une série d’actions.
Les Avertissements d’Yann LeCun
Yann LeCun, à la tête des recherches en IA chez Meta, a souvent mis en garde contre les limites des modèles de langage (LLM). En juin 2023, il a signalé que ces modèles peuvent générer des informations erronées et nuire à la qualité des réponses. Plus la réponse est longue, plus il est probable qu’elle s’éloigne de la réalité. Cela soulève des questions sur la nécessité d’un contrôle de qualité dans les systèmes d’IA.
L’Importance de la Corrections des Erreurs
Pour pallier ces problèmes, il est essentiel de réduire le taux d’erreur des modèles d’IA. Dans l’ingénierie logicielle, on recommande souvent une révision précoce du code. En appliquant une approche “shift left”, les erreurs détectées tôt peuvent être surmontées plus facilement et à moindre coût. À l’inverse, négliger ce contrôle entraîne une augmentation exponentielle du coût de correction au fur et à mesure que l’on avance dans le cycle de vie du développement.
Vers des Systèmes Multi-Agents
Anthropic a récemment démontré qu’une solution potentielle à ce problème pourrait être l’usage de systèmes multi-agents . L’idée est que plusieurs agents d’IA travaillent en parallèle pour confronter leurs résultats. Cela pourrait réduire considérablement les risques d’erreurs accumulées, car chaque agent peut servir de vérificateur des autres.
Les Progrès Constantes des Modèles d’IA
À ce sujet, Benjamin Todd a précisé que la taux d’erreur des modèles d’IA se réduit d’environ la moitié tous les cinq mois. À ce rythme, nous pourrions attendre de ces agents la capacité de réaliser avec succès plusieurs tâches complexes dans les années à venir. Cependant, malgré leurs améliorations, des préoccupations demeurent concernant les hallucinations des modèles IA. Même si la performance générale des systèmes s’améliore, le récent article dans The New York Times souligne que ces modèles semblent avoir un problème accru de production de réponses incorrectes.
En somme, bien que les technologies d’IA en soient à leurs débuts, elles posent un défi fascinant et complexe. La nécessité de réduire les erreurs, d’améliorer les modèles et de trouver des solutions innovantes pour optimiser les performances ne fait que commencer. Cela suscite de nombreuses discussions autour de la conception et de l’implémentation de ces systèmes dans divers domaines, ainsi qu’une réflexion sur les implications qu’ils peuvent avoir pour l’avenir.