Un Modèle de Langage Vintage : Talkie-1930
Les modèles de langage modernes, comme nous les connaissons aujourd’hui, souffrent généralement d’une limitation majeure : une date de coupe dans leurs données d’entraînement. Cela signifie qu’ils ne peuvent pas accéder à des faits accordés après cette date. Talkie-1930, en revanche, a été spécifiquement conçu pour contrer ce problème, en étant formé uniquement sur des textes antérieurs à 1930. Si vous souhaitez explorer comment cela pourrait ressembler, une IA est désormais en mesure de vous donner un avant-goût.
Qu’est-ce que Talkie-1930 ?
Appelé un “modèle de langage vintage”, Talkie-1930 est un réseau neuronal avec 13 milliards de paramètres, formé exclusivement à partir de livres, de journaux et d’autres documents d’époque. Ce modèle ne peut pas consulter Internet ni accéder à des données modernes, ce qui en fait un exemple unique de l’intelligence artificielle ancrée dans le passé.
Des chercheurs ont testé ce modèle en engageant Claude dans une conversation avec lui, se rendant compte qu’il détient un savoir impressionnant sur l’histoire, ainsi qu’une capacité à imiter le style d’écrivains victoriens tels que Dickens, bien que limité en ce qui concerne les formats plus satiriques.
Une Fenêtre sur le Passé
Talkie-1930 n’est pas seulement un intérêt culturel ; c’est également un outil puissant pour explorer la mentalité et la culture du début du XXe siècle. En interrogeant ce modèle, les utilisateurs peuvent découvrir comment la société, la politique et la vie quotidienne étaient perçues à cette époque. De plus, il agit comme un “sujet de contrôle” pour mieux étudier les dynamiques de l’IA, ouvrant la voie à des avancées significatives dans le domaine.
Prédictions Basées sur des Patterns Historiques
En étant “congelé” dans le temps jusqu’en 1930, Talkie-1930 permet d’évaluer de manière unique jusqu’où un modèle peut extrapoler et prédire l’avenir en se basant uniquement sur des modèles historiques. Les chercheurs ont testé cette capacité en présentant jusqu’à 5 000 descriptions d’événements historiques ultérieurs et en évaluant le niveau de surprise du modèle.
Les résultats ont montré que Talkie-1930 était particulièrement surpris par les événements des décennies 1950 et 1960, après quoi son niveau de surprise s’est stabilisé, indiquant une amélioration progressive de ses capacités prédictives en fonction de l’horizon temporel.
L’Invention au Service de la Découverte
Demis Hassabis, le PDG de Google DeepMind, a récemment soulevé une question fascinante concernant les modèles de langage : une IA avec des connaissances limitées à 1911 pourrait-elle découvrir la théorie de la relativité d’Einstein, qui a émergé en 1915 ? Cette interrogation met en lumière l’intérêt de modèles comme Talkie-1930 pour observer leur potentiel innovant et leur capacité à générer de nouvelles idées, ce qui pourrait finalement mener à des découvertes majeures.
Un Modèle Sans Contamination
Un problème courant des modèles récents est la “contamination” des données. En utilisant des corpus considérables contenant des données d’évaluation, les résultats peuvent être biaisés. Talkie-1930, en revanche, free de toute contamination moderne, permet de mener des expériences spécifiques et intéressantes, comme tester sa capacité à apprendre la programmation sans aucune connaissance préalable de l’informatique.
Ce modèle est open-source et peut être trouvé sur Github.