Miara biliona według Mistral AI

Przekroczenie progu biliona parametrów nie jest już wyłączną domeną amerykańskich laboratoriów ani chińskich gigantów. Prezentując wersję zapoznawczą Mistral Large 4, nazywanego "Le Chonk", francuska firma wypuszcza swój największy dotąd model: multimodalną architekturę Mixture-of-Experts o łącznej liczbie 1,05 biliona parametrów. Według oficjalnej dokumentacji Mistral AI model aktywuje 52 miliardy z nich na token (choć niektóre media podają 49 miliardów) i korzysta z enkodera wizualnego o 1,6 miliarda parametrów oraz okna kontekstu liczącego milion tokenów. To pierwsza europejska architektura tej skali przedstawiona z obietnicą otwartych wag. To także pierwszy model po rundzie finansowania na trzy miliardy euro, którą Mistral zamknął we wrześniu, jak podaje The Next Web.

Na razie jednak dostęp jest możliwy wyłącznie przez API w publicznej wersji zapoznawczej w Mistral Studio, działające w europejskich centrach danych firmy. Na oficjalnym blogu Mistral pisze: "We will release the weights by the end of the month"; The Next Web wskazuje 27 października jako przewidywaną datę. Nie określono natomiast licencji, więc nie wiadomo, czy zostanie utrzymana formuła Apache 2.0 poprzednika, Mistral Large 3. Również pod względem kosztów: oficjalny cennik, 1,36 dolara za milion tokenów wejściowych i 4,18 dolara za milion wyjściowych, jest obecnie objęty 50-procentowym rabatem, którego termin zakończenia nie jest znany.

Narracja firmy mocno koncentruje się na cyberbezpieczeństwie i umiejętnościach programistycznych. Według danych opublikowanych przez Mistral, które sama firma określa jako wstępne i mogące się zmienić, ponieważ etap reinforcement learning wciąż trwa, Large 4 osiąga 82% w teście odtwarzania i łatania podatności, podczas gdy Claude Opus 5.5 i GPT-6 Astra miałyby wynik bliski zeru, bo odmawiają wykonania zadania: to dane firmy, niezweryfikowane przez strony trzecie. W ślepej ocenie programowania przeprowadzonej przez Surge AI Mistral podaje dla Large 4 wynik 3,74 na 5, drugie miejsce na pięć modeli, za Claude Opus 5 (4,22). Współzałożyciel i chief scientist Mistral AI stwierdził, że "cyber defense capabilities will enable enterprises and governments to defend themselves", zapowiadając wersję z ograniczoną moderacją dla specjalistów i instytucji publicznych. Brak zewnętrznej, niezależnej walidacji tych danych nakazuje jednak zwykłą ostrożność metodologiczną.

Według Mistral model wytrenowano od zera na 3800 procesorach graficznych NVIDIA Grace Blackwell w europejskich centrach danych firmy; The Next Web mówi natomiast o około 4000 GPU, mniej więcej dwóch miesiącach treningu i mocy około 10 megawatów. Ta infrastruktura wspiera lokalizację modelu, trenowanego na ponad 160 językach, oraz przyszłą opcję wdrożenia zarządzanego w całości w granicach Unii Europejskiej. Przedstawiając ten przełom, CEO Mistral AI upomniał się o strategiczne miejsce kontynentu: "So the narrative that Europe cannot compete is something that is not true".

Suwerenność technologiczną mierzy się także przejrzystością wag, które obiecano udostępnić. Wiele zależy od dwóch wciąż otwartych kwestii: faktycznej publikacji wag i licencji, która będzie im towarzyszyć, a której dziś nie ogłoszono. Dopiero wtedy będzie można zmierzyć, na ile naprawdę otwarty jest pierwszy europejski bilion. — Olya