La recherche en intelligence artificielle (IA)<\/strong> \u00e9volue \u00e0 un rythme effr\u00e9n\u00e9, suscitant \u00e0 la fois de l’enthousiasme et des pr\u00e9occupations \u00e9thiques. R\u00e9cemment, l’organisation de recherche EleutherAI<\/strong> a lanc\u00e9 une belle initiative en publiant un ensemble de donn\u00e9es qu’elle qualifie de l’une des plus grandes collections licenci\u00e9es et de domaine ouvert<\/strong> pour l’entra\u00eenement de mod\u00e8les d’IA. Ce jeu de donn\u00e9es, intitul\u00e9 Common Pile v0.1<\/strong>, p\u00e8se environ 8 to et a \u00e9t\u00e9 d\u00e9velopp\u00e9 pendant environ deux ans en collaboration avec des start-ups d\u2019IA telles que Poolside<\/strong> et Hugging Face<\/strong>, ainsi que plusieurs institutions acad\u00e9miques.<\/p>\n Le Common Pile v0.1<\/strong> a \u00e9t\u00e9 con\u00e7u pour \u00eatre utilis\u00e9 afin de former deux nouveaux mod\u00e8les d’IA d’EleutherAI, \u00e0 savoir Comma v0.1-1T<\/strong> et Comma v0.1-2T<\/strong>. Ces mod\u00e8les sont pr\u00e9sent\u00e9s comme \u00e9tant \u00e0 la hauteur des mod\u00e8les d\u00e9velopp\u00e9s \u00e0 partir de donn\u00e9es non licenci\u00e9es<\/strong> et soumises au droit d’auteur<\/strong>. Dans un contexte o\u00f9 de nombreuses entreprises de l’IA, y compris OpenAI<\/strong>, se retrouvent dans des batailles judiciaires concernant leurs pratiques d’entra\u00eenement des IA, l’initiative d\u2019EleutherAI prend une dimension particuli\u00e8rement significative.<\/p>\n Les entreprises d’IA sont actuellement embarqu\u00e9es dans des poursuites judiciaires<\/strong> relatives \u00e0 leurs m\u00e9thodes d’entra\u00eenement, qui s’appuient souvent sur des donn\u00e9es extraites d’Internet<\/strong>, y compris des ouvrages prot\u00e9g\u00e9s par le droit d’auteur<\/strong>. Bien que certaines entreprises aient \u00e9tabli des arrangements de licence avec certains fournisseurs de contenu, la plupart soutiennent que la doctrine am\u00e9ricaine de l’utilisation \u00e9quitable<\/strong> les prot\u00e8ge de responsabilit\u00e9s en cas d’utilisation de travaux prot\u00e9g\u00e9s sans autorisation.<\/p>\n EleutherAI, quant \u00e0 elle, a exprim\u00e9 ses pr\u00e9occupations quant \u00e0 ces poursuites. Selon Stella Biderman<\/strong>, directrice ex\u00e9cutive d’EleutherAI, ces litiges ont \u00ab drastiquement diminu\u00e9<\/strong> \u00bb la transparence des pratiques des entreprises d’IA. Cette situation a des r\u00e9percussions sur le domaine de la recherche en IA, rendant plus difficile la compr\u00e9hension du fonctionnement des mod\u00e8les d’IA et de leurs d\u00e9fauts.<\/p>\n Le Common Pile v0.1<\/strong>, disponible au t\u00e9l\u00e9chargement sur la plateforme de d\u00e9veloppement AI de Hugging Face et sur GitHub, a \u00e9t\u00e9 \u00e9labor\u00e9 en consultation avec des experts juridiques. Il s’appuie sur des sources telles que 300 000 livres du domaine public<\/strong> num\u00e9ris\u00e9s par la Biblioth\u00e8que du Congr\u00e8s<\/strong> et l’Internet Archive<\/strong>. De plus, EleutherAI a utilis\u00e9 Whisper<\/strong>, le mod\u00e8le de transcription audio \u00e0 texte en open source d’OpenAI, pour traiter certains contenus audio.<\/p>\n Cette approche m\u00e9thodique permet non seulement de respecter les lois sur le droit d’auteur, mais aussi d’ouvrir la voie \u00e0 une recherche plus transparente<\/strong> et \u00e9thique<\/strong> dans le domaine de l\u2019IA.<\/p>\n EleutherAI affirme que les mod\u00e8les Comma v0.1-1T<\/strong> et Comma v0.1-2T<\/strong> illustrent que le Common Pile v0.1<\/strong> a \u00e9t\u00e9 soigneusement \u00e9labor\u00e9 pour permettre aux d\u00e9veloppeurs de cr\u00e9er des mod\u00e8les comp\u00e9titifs<\/strong> avec les alternatives propri\u00e9taires<\/strong>. Ces mod\u00e8les, dot\u00e9s de 7 milliards de param\u00e8tres<\/strong>, rivalisent d\u00e9j\u00e0 avec le premier mod\u00e8le Llama de Meta<\/strong> sur des benchmarks indiquant des capacit\u00e9s en programmation<\/strong>, compr\u00e9hension d’images<\/strong> et math\u00e9matiques<\/strong>.<\/p>\n Les param\u00e8tres<\/strong>, parfois appel\u00e9s poids<\/strong>, sont des composants internes d’un mod\u00e8le d\u2019IA qui dirigent son comportement et ses r\u00e9ponses. Biderman souligne que l’id\u00e9e commune selon laquelle les textes non licenci\u00e9s sont n\u00e9cessaires pour obtenir de bonnes performances est largement injustifi\u00e9e. Au fur et \u00e0 mesure que la quantit\u00e9 de donn\u00e9es accessibles licenci\u00e9es ouvertement<\/strong> et de domaine public<\/strong> augmente, on peut s\u2019attendre \u00e0 une am\u00e9lioration de la qualit\u00e9<\/strong> de mod\u00e8les form\u00e9s sur ces contenus.<\/p>\n Le d\u00e9veloppement du Common Pile v0.1<\/strong> repr\u00e9sente \u00e9galement un effort pour corriger les erreurs pass\u00e9es d’EleutherAI. En effet, l\u2019organisation avait pr\u00e9c\u00e9demment publi\u00e9 The Pile<\/strong>, une collection ouverte de textes d’entra\u00eenement qui incluait de la mati\u00e8re prot\u00e9g\u00e9e. Ce projet avait attir\u00e9 des critiques et des pressions juridiques sur les entreprises d’IA qui utilisaient The Pile<\/strong> pour entra\u00eener leurs mod\u00e8les.<\/p>\n EleutherAI s’engage \u00e0 publier des datasets ouverts<\/strong> plus fr\u00e9quemment \u00e0 l’avenir, en collaboration avec ses partenaires de recherche et d’infrastructure. En clarifiant ces efforts, Biderman a pr\u00e9cis\u00e9 que la cr\u00e9ation de ces datasets et mod\u00e8les a impliqu\u00e9 un grand nombre de partenaires, y compris l’Universit\u00e9 de Toronto<\/strong>, qui a jou\u00e9 un r\u00f4le central dans la recherche.<\/p>\n Cette initiative repr\u00e9sente un pas significatif vers la cr\u00e9ation d\u2019un \u00e9cosyst\u00e8me IA plus transparent<\/strong> et \u00e9thique<\/strong>, en permettant \u00e0 la recherche d’avancer tout en respectant les droits des auteurs et des cr\u00e9ateurs. Les acteurs de l’IA ont ainsi l’occasion d’apprendre des pratiques adopt\u00e9es, transformant le paysage du d\u00e9veloppement technologique pour un meilleur avenir.<\/p>\nComposition et impact du Common Pile v0.1<\/h2>\n
Enjeux juridiques et transparence<\/h2>\n
S\u00e9lection et pr\u00e9paration des donn\u00e9es<\/h2>\n
Une \u00e9volution vers des mod\u00e8les plus \u00e9thiques<\/h2>\n
R\u00e9tablissement d’une r\u00e9putation<\/h2>\n