Mistral AI à l'échelle des mille milliards

Franchir le seuil des mille milliards de paramètres n'est plus l'apanage des laboratoires américains ou des géants chinois. Avec la présentation en avant-première de Mistral Large 4, surnommé "Le Chonk", l'entreprise française lance son modèle le plus imposant : une architecture Mixture-of-Experts multimodale de 1 050 milliards de paramètres au total. Selon la documentation officielle de Mistral AI, le modèle en active 52 milliards par token (certains médias évoquent 49 milliards) et s'appuie sur un encodeur visuel de 1,6 milliard, avec une fenêtre de contexte d'un million de tokens. C'est la première architecture européenne de cette taille présentée avec la promesse de poids ouverts. C'est aussi le premier modèle sorti depuis la levée de trois milliards d'euros bouclée par Mistral en septembre, comme le rapporte The Next Web.

Pour l'instant, l'accès passe toutefois uniquement par l'API en préversion publique sur Mistral Studio, hébergée dans les centres de données européens de l'entreprise. Sur son blog officiel, Mistral écrit : "We will release the weights by the end of the month" ; The Next Web avance la date du 27 octobre. La licence, en revanche, n'est pas précisée, si bien qu'on ignore si la formule Apache 2.0 de son prédécesseur Mistral Large 3 sera conservée. Côté tarifs, le prix catalogue officiel de 1,36 dollar par million de tokens en entrée et de 4,18 en sortie bénéficie actuellement d'une remise de 50 % dont la date de fin n'est pas connue.

Le discours de l'entreprise met fortement l'accent sur la cybersécurité et la programmation. D'après les chiffres publiés par Mistral, que la société qualifie elle-même de préliminaires et susceptibles d'évoluer puisque la phase de reinforcement learning est toujours en cours, Large 4 atteint 82 % sur un test de reproduction et de correction de vulnérabilités, tandis que Claude Opus 5.5 et GPT-6 Astra obtiendraient un score proche de zéro parce qu'ils refusent la tâche : une donnée de l'entreprise, non vérifiée par des tiers. Dans une évaluation à l'aveugle de la programmation menée par Surge AI, Mistral attribue à Large 4 un score de 3,74 sur 5, deuxième sur cinq modèles, derrière Claude Opus 5 (4,22). Le cofondateur et chief scientist de Mistral AI a déclaré que "cyber defense capabilities will enable enterprises and governments to defend themselves", en annonçant une version à modération réduite pour les spécialistes et les autorités. En l'absence de validation externe et indépendante de ces données, la prudence méthodologique habituelle reste toutefois de mise.

Selon Mistral, le modèle a été entraîné de zéro sur 3 800 GPU NVIDIA Grace Blackwell dans ses centres de données européens ; The Next Web parle plutôt d'environ 4 000 GPU, de deux mois d'entraînement environ et d'une puissance d'une dizaine de mégawatts. Cette infrastructure soutient la localisation du modèle, entraîné sur plus de 160 langues, ainsi que la future option d'un déploiement entièrement géré à l'intérieur des frontières de l'Union européenne. En présentant ce tournant, le CEO de Mistral AI a revendiqué une place stratégique pour le continent : "So the narrative that Europe cannot compete is something that is not true".

La souveraineté technologique se mesure aussi à la transparence des poids que l'on promet de libérer. Beaucoup dépendra de deux points encore ouverts : la publication effective des poids et la licence qui les accompagnera, non annoncée à ce jour. Ce n'est qu'alors que l'on pourra mesurer à quel point les premiers mille milliards européens sont vraiment ouverts. — Olya