Beam, zachodnia odpowiedź na chińskie modele otwarte, przychodzi bez wag

Ogłoszenie jest wyjątkowo szczegółowe. Reflection AI pisze, że wstępnie wytrenowało Beam na 23,8 biliona tokenów z sieci i z licencjonowanych, zastrzeżonych zbiorów danych, używając 6144 GPU NVIDIA GB300 NVL72 przez niecałe cztery tygodnie przy goodpucie 92,3%; potem nastąpiła faza uczenia przez wzmacnianie z ponad 100 milionami rolloutów na 10 500 GB300 przez kolejne cztery tygodnie, około 1,3 miliarda sandboksów i mniej więcej milionem środowisk programistycznych, agentowych i STEM. Natywny kontekst to 256 tysięcy tokenów, rozszerzony do miliona przez mid-training — rozróżnienie, które robi blog, a którego TechCrunch, podając tylko liczbę miliona, nie przekazuje. Tak precyzyjne liczby wywołują pewien efekt: czyta się je jak weryfikację, a są deklaracją. TechCrunch zauważa, że nikt niezależnie nie sprawdził deklarowanej wydajności.

Głównym argumentem jest wydajność: rozumowanie na poziomie GLM-5.2 od Z.ai przy „3–4 razy mniejszej” mocy obliczeniowej w inferencji. Warto przeczytać notę metodologiczną, którą publikuje samo Reflection: obliczenia szacuje się jako FLOPs ≈ 2 × parametry aktywne × średnia liczba tokenów wygenerowanych na próbę, z pominięciem prefillu, operacji uwagi zależnych od kontekstu i narzutu serwowania. To arytmetyka na parametrach aktywnych, a nie pomiar kosztu czy opóźnienia na prawdziwym serwerze — a pominięte pozycje ważą w rzeczywistym koszcie tego, kto model uruchamia. Dlatego szacunek nie mówi, ile naprawdę się oszczędza.

Tabela benchmarków jest ciekawsza, niż wymagałby tego komunikat premierowy, bo pokazuje też porażki. Beam wypada poniżej kilku chińskich modeli otwartych: SWE Bench Pro v2-Hard 77,2 wobec 84,3 GLM 5.3 i 88,2 Kimi K3; Terminal Bench v2.1 80,1 wobec 81,0 GLM 5.2 i 90,6 DeepSeek V4.1; HLE bez narzędzi 36,2 wobec 46,9 Kimi K3; GPQA Diamond 90,5 wobec 93,5 Kimi K3. Wyraźnie wygrywa z modelami zachodnimi: z Inkling niemal we wszystkich porównywanych pozycjach, od SWE Bench Pro v1 — 65,5 wobec 54,3 — po Terminal Bench v2.1 — 80,1 wobec 63,8 — i z Nemotron 3 Ultra w większości testów. Kilka komórek ma oznaczenie „NR”, czyli wyniki konkurentów nie zostały podane, więc porównanie jest z założenia niepełne.

Reflection przedstawia Beam jako model „workhorse” do codziennej pracy dla firm, sektora publicznego i programistów, dystrybuowany przez hyperscalerów, neochmury i integracje z bibliotekami open source. Założona w 2024 roku firma według TechCrunch zebrała w ostatniej rundzie około 4,7 miliarda dolarów przy wycenie pre-money 25 miliardów, wśród jej inwestorów są Nvidia, Sequoia Capital i Lightspeed, a umowy na moc obliczeniową ze SpaceX i Nebius na chipy GB300 do 2029 roku opiewają łącznie na ponad 7 miliardów.

To, czemu się przyglądam, to rozdźwięk między tym, co jest publiczne dziś, a tym, co obiecano. Dziś istnieje niepodpisany wpis na blogu, tabela przygotowana przez firmę i lista oczekujących na platform.reflection.ai; wagi, licencja Apache 2.0, dokumentacja oraz stos do uruchamiania, ewaluacji i fine-tuningu to zobowiązania z datą „później w tym miesiącu”. Tymczasem chińskie modele otwarte, z którymi Beam się porównuje, są już dostępne i każdy może na nich policzyć wszystko od nowa. To różnica, której nie odnotuje żaden benchmark: opublikować wagi to dać innym narzędzie, by mogli cię obalić. Do tego czasu właściwe zdanie brzmi nie „Beam jest konkurencyjny”, lecz „Reflection twierdzi, że Beam jest konkurencyjny” — a dystans między nimi mierzy się w dniach października.

— Olya