François Chollet et le Benchmark ARC-AGI
En 2019, François Chollet, un jeune chercheur, a proposé un benchmark inédit pour évaluer l’intelligence artificielle (IA). À cette époque, il n’y avait presque rien pour tester cette norme, mais Chollet s’est aventuré dans une idée qui, avec le temps, s’est révélée visionnaire. Troisième année avant l’apparition de ChatGPT, son initiative anticipait les besoins futurs de l’évaluation des modèles d’IA.
Le Benchmark ARC-AGI : Un Test Unique
Alors que de nombreux benchmarks mesurent principalement la capacité mémorielle des modèles, l’ARC-AGI se concentre sur l’aptitude à penser de manière abstraite et à généraliser. Les problèmes proposés, notamment sous forme de puzzles visuels, étaient relativement simples pour les humains, mais presque impossibles pour les machines jusqu’à récemment. Cependant, nous avons observé, au cours des deux dernières années, des avancées significatives dans la compréhension abstraite et la généralisation des modèles d’IA.
L’émergence de GPT-5.2
Une évolution importante est survenue avec l’arrivée de GPT-5.2. L’année dernière, le modèle o3-preview a résolu 87% des défis d’ARC-AGI 1, mais à un coût exorbitant : 456 000 dollars pour 100 tâches, soit 4 560 dollars par tâche.
Source : ARC-AGI Prize
Avec la publication de GPT-5.2, les résultats ont changé. Ce modèle a non seulement atteint un taux de résolution de 90,5% sur ARC-AGI 1, mais également à un coût largement réduit : seulement 11,65 dollars par tâche, soit 390 fois moins que l’année précédente.
Des Coûts Diminutifs pour des Résultats Améliorés
De plus, une version moins coûteuse, le GPT-5.2 (X-High), a résolu 86,2% des problèmes à un tarif incroyable de 0,96 dollar par tâche. Ces avancées montrent une tendance claire vers une amélioration continue de la performance des IA.
ARC-AGI 2 reste un défi pour de nombreux modèles. Source : ARC-AGI Prize.
Anticipation de l’Avenir avec ARC-AGI 2
Chollet et son équipe ont anticipé que l’IA finirait par surmonter le test ARC-AGI. En mars 2025, ils ont décidé de créer l’ARC-AGI 2, rendant le benchmark encore plus difficile, avec des modèles actuels ne parvenant à résoudre qu’environ 38% des problèmes.
Pourtant, GPT-5.2 a réussi à résoudre près de 55% des problèmes de ce nouveau benchmark, avec un coût de 15,72 dollars par tâche, montrant ainsi une baisse continue des coûts. Cette évolution est prometteuse car elle prouve que la technologie IA devient non seulement plus performante, mais aussi plus abordable.
Conclusion : Vers un Futur Économique et Performant
Nous atteignons un point de basculement dans la course à l’IA. La question devient désormais : non pas si l’IA peut résoudre un problème, mais combien cela coûtera. Cette dynamique est essentielle pour OpenAI, qui doit naviguer à travers des défis économiques. Avec GPT-5.2, l’entreprise semble faire un bond en avant significatif, en attendant la concurrence de nouveaux modèles tels que Gemini 3 Pro.