Mistral Medium 3.5 : Une Réalisation Européenne Médiocre
La startup française Mistral a récemment annoncé le lancement de son modèle d’intelligence artificielle, le Mistral Medium 3.5. Ce modèle, conçu avec des poids ouverts, se positionne comme une initiative phare en Europe dans une industrie à dominance chinoise et américaine. Cependant, les performances de ce modèle soulèvent des interrogations sur l’avenir de l’IA en Europe.
Une Efficacité Contestée
Des Caractéristiques Techniques Limitantes
Le Mistral Medium 3.5 est un modèle “dense” comprenant 128 milliards de paramètres et une fenêtre de contexte de 256 000 tokens. Contrairement aux modèles utilisant l’architecture Mixture-of-Experts (MoE) qui optimisent l’activation des paramètres pour une performance et une efficacité accrues, Mistral active la totalité de ses paramètres. Cela le rend moins efficace que ses concurrents, tout en soulevant des questions quant à sa performance réelle.
Des Résultats Benchmarks Décevants
Les benchmarks sont une référence standard pour évaluer la performance des modèles d’IA. Selon Pedro Domingos, professeur à l’Université de Washington, “Mistral présume de la faiblesse de son modèle en benchmarks”. En effet, les comparaisons avec d’autres modèles, tels que Claude Sonnet 4.5 ou Kimi K2.5, mettent en évidence des lacunes notables. Dans de nombreux cas, les concurrents dont Mistral se compare ont déjà des versions plus récentes et performantes.
Comparaison avec les Concours Locaux
Performances Équivalentes
Sur le test SWE-Bench Verified, le Mistral Medium 3.5 obtient un score de 77,6%, tandis que le Qwen 3.6-27b atteint 72,4%. La différence réside dans le fait que ce dernier peut être exécuté “gratuitement” sur une machine abordable, ce qui accentue encore la compétitivité de ce dernier.
Coût Élevé et Restrictions
Tarification Comparée
Utiliser le Mistral Medium 3.5 via API coûte 1,50 USD par million de tokens d’entrée et 7,50 USD pour les tokens de sortie. Comparativement, GLM-5.1 coûte 1,4/4,4 USD pour les mêmes services, tandis que Kimi K2.5 se révèle beaucoup plus économique à 0,5/2,8 USD. Ce coût, associé à une licence “MIT modifiée” excluant les entreprises à revenus élevés, complexifie l’adoption de Mistral.
Une Tentative de Révolution
Innovant dans les Agences de Programmation
Mistral a présenté des agents de programmation portés par le CLI Mistral Vibe. Ces outils visent à renforcer le rôle de Mistral dans l’automatisation des tâches, un chemin déjà emprunté avec succès par des entreprises comme Anthropic.
Un Atout : Son Origine Européenne
Souveraineté Numérique
Le principal atout de Mistral réside dans son développement européen, ce qui lui confère une visibilité accrue en période de recherche de souveraineté numérique par plusieurs pays de l’UE. Néanmoins, pour que Mistral puisse réellement rivaliser sur le marché, il est crucial qu’il améliore ses performances face à des modèles plus développés.
Un Soutien Géopolitique
La startup bénéficie également d’un soutien croissant pour établir des centres de données en Europe, capitalisant sur un désir de réduire la dépendance à l’égard des grandes entreprises technologiques américaines. Cependant, cela n’est pas suffisant si son produit ne peut rivaliser avec les leaders du marché.