La crise silencieuse de l’IA académique
En mars dernier, l’International Conference on Machine Learning (ICML), la conférence académique pionnière dans le domaine de l’apprentissage automatique, a connu un revers sans précédent en rejetant 497 articles scientifiques. Cette décision a été prise après que 506 évaluateurs ont été soupçonnés d’avoir utilisé l’intelligence artificielle (IA) pour rédiger leurs évaluations, ce qui constitue une violation des normes établies par la conférence elle-même.
Les enjeux entourant les publications académiques
Organisée par l’International Machine Learning Society, l’ICML, qui se tient chaque année depuis 1980, représente une plateforme cruciale pour les chercheurs en IA. La soumission des articles a eu lieu fin janvier et début février, et les résultats de l’évaluation sont typiquement communiqués en mai. Publier dans des conférences comme ICML équivaut en prestige à publier dans des revues scientifiques telles que Nature ou Science. Cependant, l’intégrité de cette institution est à présent remise en question, notamment dans des discussions sur Reddit au sein de la communauté r/MachineLearning.
Une surcharge de travail pour les évaluateurs
Un phénomène alarmant se dessine : le nombre d’articles soumis à ICML ne cesse d’augmenter, atteignant 9 653 articles en 2024, soit une hausse de 48% par rapport à l’année précédente. Ce constat met en lumière une réalité préoccupante : le nombre d’évaluateurs qualifiés n’augmente pas proportionnellement, ce qui engendre une surcharge de travail pour ceux qui sont déjà en place.
Le dilemme des règles d’utilisation de l’IA
Les règles en vigueur à l’ICML interdisent l’utilisation légère de l’IA pour les évaluations, car cela pourrait introduire des biais. Une étude récente a montré que les articles analysés par des modèles d’IA reçoivent souvent des évaluations plus élevées, compliquant encore plus la situation. Pour l’édition 2026, ICML a proposé aux évaluateurs deux options : une interdisant l’utilisation de l’IA, et une autre l’autorisant sous certaines conditions. Malheureusement, ce sont principalement ceux ayant choisi la première option qui ont été sanctionnés.
Les conséquences des violations
Il est essentiel de noter que tous les articles rejetés en mars provenaient d’évaluateurs ayant contribué à leur propre évaluation, une situation qui soulève des questions éthiques et de conflit d’intérêts. Les 398 évaluateurs réciproques parmi les contrevenants avaient un double rôle, amplifiant ainsi la portée du problème. La méthode de détection due à ICML, incorporant des instructions invisibles dans les documents PDF, a permis d’identifier ces infractions, soulignant une approche rigoureuse pour maintenir l’intégrité des évaluations.
Un système à repenser
La situation actuelle souligne une faiblesse dans le système de révision académique. Il est devenu urgent de reconcevoir ce processus, car les évaluateurs sont débordés. Une solution potentielle serait d’augmenter la transparence des évaluations en rendant publiques toutes les critiques, y compris celles des articles rejetés. Un modèle de révision bidirectionnelle pourrait également être instauré, permettant aux auteurs d’évaluer la qualité des évaluations reçues.
Vers un avenir incertain
Il reste à déterminer comment les conférences, dont l’ICML, réagiront face à ces défis. L’issue est prévue pour 2027, moment où nous découvrirons les stratégies mises en place pour rétablir la confiance et l’intégrité dans le processus de révision académique.
Plus d’informations sur les politiques de révision de l’ICML sont disponibles sur leur site officiel.
Source d’image | Charlesdeluvio (Unsplash)