De maat van het biljoen volgens Mistral AI

De grens van een biljoen parameters overschrijden is niet langer voorbehouden aan Amerikaanse labs of Chinese reuzen. Met de preview van Mistral Large 4, bijgenaamd "Le Chonk", lanceert het Franse bedrijf zijn grootste model tot nu toe: een multimodale Mixture-of-Experts-architectuur met in totaal 1,05 biljoen parameters. Volgens de officiële documentatie van Mistral AI activeert het model er 52 miljard per token (al noemen sommige media 49 miljard) en gebruikt het een visuele encoder van 1,6 miljard parameters, met een contextvenster van een miljoen tokens. Het is de eerste Europese architectuur van deze omvang die wordt gepresenteerd met de belofte van open gewichten. Het is ook het eerste model sinds de financieringsronde van drie miljard euro die Mistral in september afsloot, meldt The Next Web.

Voorlopig is toegang echter alleen mogelijk via de API in publieke preview op Mistral Studio, die draait in de Europese datacenters van het bedrijf. Op zijn officiële blog schrijft Mistral: "We will release the weights by the end of the month"; The Next Web noemt 27 oktober als verwachte datum. De licentie is daarentegen niet bekendgemaakt, waardoor onduidelijk blijft of de Apache 2.0-voorwaarden van voorganger Mistral Large 3 behouden blijven. Ook financieel geldt een kanttekening: de officiële prijs van 1,36 dollar per miljoen inputtokens en 4,18 dollar per miljoen outputtokens krijgt momenteel 50% korting, zonder bekende einddatum.

Het verhaal van het bedrijf draait sterk om cyberbeveiliging en programmeervaardigheden. Volgens cijfers van Mistral, die het bedrijf zelf voorlopig en voor wijziging vatbaar noemt omdat de reinforcement-learningfase nog loopt, haalt Large 4 82% op een test voor het reproduceren en patchen van kwetsbaarheden, terwijl Claude Opus 5.5 en GPT-6 Astra bijna nul zouden scoren omdat ze de taak weigeren: een cijfer van het bedrijf, niet door derden gecontroleerd. In een blinde programmeerbeoordeling door Surge AI rapporteert Mistral voor Large 4 een score van 3,74 op 5, tweede van vijf modellen, achter Claude Opus 5 (4,22). De medeoprichter en chief scientist van Mistral AI zei dat "cyber defense capabilities will enable enterprises and governments to defend themselves", en kondigde een versie met minder moderatie aan voor specialisten en autoriteiten. Zolang een externe, onafhankelijke validatie van deze cijfers ontbreekt, blijft de gebruikelijke methodologische voorzichtigheid geboden.

Volgens Mistral is het model vanaf nul getraind op 3.800 NVIDIA Grace Blackwell-GPU's in zijn Europese datacenters; The Next Web spreekt juist van ongeveer 4.000 GPU's, zo'n twee maanden training en een vermogen van ongeveer 10 megawatt. Die infrastructuur ondersteunt de lokalisatie van het model, getraind op meer dan 160 talen, en de toekomstige optie van een uitrol die volledig binnen de grenzen van de Europese Unie wordt beheerd. Bij de presentatie eiste de CEO van Mistral AI een strategische plek op voor het continent: "So the narrative that Europe cannot compete is something that is not true".

Technologische soevereiniteit meet je ook af aan hoe open de beloofde gewichten werkelijk zijn. Veel hangt af van twee punten die nog openstaan: de daadwerkelijke publicatie van de gewichten en de licentie die erbij hoort, die nog niet is aangekondigd. Pas dan valt te meten hoe open het eerste Europese biljoen echt is. — Olya