Un Test Perturbant pour l’Intelligence Artificielle
Il y a quelques mois, un groupe de chercheurs espagnols a décidé de soumettre un chatbot à un test surprenant. En téléchargeant une image d’une horloge analogique, ils ont demandé à l’IA : “Quelle heure est indiquée sur cette horloge ?”. Les résultats ont été inquiétants.
Évaluation de l’Intelligence Artificielle
Les chercheurs de l’Université Polytechnique de Madrid, de l’Université de Valladolid et du Politecnico de Milano ont récemment publié une étude destinée à évaluer l’intelligence des modèles d’IA. Ils ont créé un ensemble d’images synthétiques d’horloges analogiques comprenant 43 000 heures différentes, disponibles sur Hugging Face.
Résultats Surprenants
Après avoir interrogé quatre modèles d’IA générative, dont GPT-4o et LlaMa3.2-11B, aucun d’eux n’a réussi à indiquer l’heure précise sur les images. Chacun avait des difficultés à déchiffrer les aiguilles et leur position par rapport aux chiffres de l’horloge.
Ajustement et Amélioration
Suite à ces tests, les chercheurs ont affiné les modèles en ajoutant 5 000 images supplémentaires à leur base de données. Malgré cela, les modèles ont échoué lorsqu’ils ont été confrontés à un autre ensemble d’images d’horloges analogiques, soulignant une incapacité à généraliser.
Un Manque de Généralisation
Cette expérience a mis en lumière un constat déjà connu : les modèles d’IA excellent dans la reconnaissance des données familières, mais échouent souvent dans des situations inédites qui ne font pas partie de leur entraînement.
Les Limites des Modèles d’IA
Pour approfondir cette question, les chercheurs ont créé des images d’horloges, y compris des représentations distordues inspirées par Dalí. Alors que les humains peuvent déchiffrer ces horloges déformées, les modèles d’IA rencontrent des difficultés majeures.
Implications dans des Domaines Cruciaux
Cela soulève des inquiétudes quant à l’utilisation de ces modèles dans des domaines critiques comme l’analyse médicale ou la navigation autonome en temps réel. Si ces IA échouent à lire l’heure, cela pourrait avoir des conséquences graves dans des applications où la précision est essentielle.
Une Vision Critique de l’IA
Bien que les modèles d’IA générative soient efficaces dans certains contextes comme la programmation, leur capacité à “regurgiter” des réponses préexistantes soulève des questions. Selon Thomas Wolf, Chief Science Officer chez Hugging Face, ces modèles ne posent jamais de questions inédites ou provocantes.
Problèmes Persistants
Malheureusement, même après plusieurs ajustements, ces modèles continuent de commettre des erreurs. Un bon prompt peut parfois corriger ces limitations, mais il devient évident que ces modèles ne peuvent pas être complètement fiables. Malgré des progrès, leur marge d’amélioration demeure insuffisante.
Conclusion
Les résultats de cette étude sont un appel à la réflexion sur les vraies capacités de l’IA générative. Si elle ne parvient pas à réaliser des tâches aussi simples que de lire l’heure, l’avenir des applications IA pourrait être plus complexe qu’anticipé.
Source de l’image : Yaniv Knobel