En 2017, le papier “Attention Is All You Need” de Google a révolutionné le domaine de la génération de langage. Les Transformers ont permis de traiter de longues séquences en parallèle, rendant possible l’escalade de modèles à des tailles auparavant jugées invivables. Cette voie d’escalade a entraîné le développement d’architectures telles que GPT et BERT et a fait de l’auto-attention la pierre angulaire de l’IA générative contemporaine.
Cependant, cet approche novateur s’est accompagnée de coûts croissants en mémoire et en énergie lorsque le contexte s’allonge, une limitation qui a motivé des recherches pour développer des alternatives. Le modèle SpikingBrain-1.0 vise à briser ces contraintes.
Du “Attention Is All You Need” au cerveau : la nouvelle promesse de l’IA
Un groupe de chercheurs de l’Institut d’Automatisation de l’Académie Chinoise des Sciences a récemment présenté SpikingBrain-1.0. Ce projet se concentre sur une famille de modèles espigés conçus pour réduire les données et le calcul requis pour les tâches avec des contextes très longs. Les experts passent par deux approches : SpikingBrain-7B, une architecture linéaire axée sur l’efficacité, et SpikingBrain-76B, qui combine une attention linéaire avec des mécanismes Mixture of Experts (MoE) offrant une capacité supérieure.
Les chercheurs soulignent que le développement et les tests ont principalement été réalisés sur des clusters GPU MetaX C550, avec des bibliothèques et des opérateurs spécifiquement conçus pour cette plateforme. Ce projet représente une avancée non seulement à l’échelle logicielle, mais également une démonstration des capacités du hardware national. Ce point est particulièrement pertinent dans le contexte des efforts de la Chine pour réduire sa dépendance envers NVIDIA, déjà visible avec DeepSeek 3.1.
SpikingBrain-1.0 s’inspire directement du fonctionnement de notre cerveau. Au lieu de neurones qui sont constamment “allumés” en calculant, ce modèle utilise des neurones espigés : des unités qui accumulent des signaux jusqu’à ce qu’ils dépassent un seuil et déclenchent un pic (spike). Entre deux pics, elles ne font rien, ce qui permet d’économiser des opérations et, théoriquement, de l’énergie. La clé réside dans le fait que non seulement le nombre de pics importe, mais aussi le moment exact et l’ordre dans lequel ils se produisent : cela porte une information, comme c’est le cas dans le cerveau.
Pour que ce design fonctionne dans l’écosystème actuel, l’équipe a développé des méthodes pour transformer des blocs d’auto-attention traditionnels en versions linéaires, plus facilement intégrables dans leur système espigé, et a créé une sorte de “temps virtuel” qui simule les processus temporels sans ralentir le rendement des GPU. De plus, la version SpikingBrain-76B inclut des Mixture of Experts (MoE), un système qui “réveille” seulement certains sous-modèles lorsqu’ils sont nécessaires, un concept déjà présent dans GPT-4 et GPT-5.
Les auteurs suggèrent plusieurs applications où la longueur du contexte est cruciale : analyse de grands dossiers juridiques, dossiers médicaux complets, séquençage de l’ADN et ensembles massifs de données expérimentales en physique des hautes énergies, entre autres. Ces applications sont justifiées dans le document, précisant que si l’architecture maintient son efficacité avec des contextes de millions de tokens, cela réduirait les coûts et ouvrirait des possibilités dans des domaines actuellement limités par l’accès à des infrastructures de calcul coûteuses. Toutefois, la validation en conditions réelles en dehors des laboratoires reste à réaliser.
Le groupe a rendu disponible sur GitHub le code de la version avec 7 milliards de paramètres, ainsi qu’un rapport technique détaillé. Il propose également une interface web similaire à ChatGPT pour interagir avec le modèle, lequel, selon les auteurs, est entièrement déployé sur du matériel national. Cependant, l’accès est limité à des utilisateurs chinois, compliquant son usage en dehors de ce cadre. Cette proposition est ambitieuse, mais son véritable impact dépendra de la capacité de la communauté à reproduire les résultats et à effectuer des comparaisons dans des environnements homogènes évaluant la précision, la latence et la consommation d’énergie dans des conditions réelles.
Images | Xataka avec Gemini 2.5 | aboodi vesakaran
En Xataka | OpenAI croit avoir découvert pourquoi les IA hallucinent : elles ne savent pas dire “je ne sais pas”