Nemotron 3.5: NVIDIA kompresuje swój model agentowy, aż mieści się w 24-gigabajtowej karcie dla graczy

Zapowiedź, podpisana na oficjalnym blogu przez Kari Briski, przedstawia Nemotron 3.5 Super VL jako model multimodalny o łącznie 120 miliardach parametrów, z których 12 miliardów jest aktywnych na token. Według NVIDII łączy rozumowanie i korzystanie z narzędzi z rozumieniem tekstu, obrazów, dokumentów i wideo, a powstał z myślą o agentach pracujących na wykresach, stronach internetowych i dokumentach. Firma nazywa go „najszybszym otwartym modelem agentowym w swojej klasie”, mniej więcej pięć razy szybszym od najlepszego konkurenta, i deklaruje dokładność porównywalną z jej największym modelem rozumującym przy około jednej piątej parametrów. Tu warto się zatrzymać: blog nie wymienia ani konkurenta, ani wewnętrznego modelu odniesienia, i nie publikuje wyników. To deklaracje producenta, a nie porównywalne pomiary. Model jest dostępny na Hugging Face, OpenRouter, ModelScope oraz jako mikrousługa NIM; deklarowany trening obejmuje około 26 bilionów tokenów w pre-treningu i kontynuowanym pre-treningu, około 3,8 miliona próbek post-treningowych oraz uczenie przez wzmacnianie w dziesiątkach środowisk, z opublikowanymi otwartymi zbiorami danych i środowiskami RL w NeMo Gym.

Ciekawszy jest drugi model. Bolt 74B-A9B 24GB ma łącznie 74 miliardy parametrów, z czego 9 miliardów aktywnych, a dzięki natywnej kwantyzacji do 2 bitów mieści się w 24 GB pamięci: działa na komputerach z GeForce RTX, laptopach RTX Spark, DGX Spark, DGX Station i stacjach roboczych RTX PRO. Model card na Hugging Face dodaje szczegóły techniczne: hybrydową architekturę Mamba-2/Transformer o nazwie LatentMoE, enkoder wizualny C-RADIO v4-H, wejście tekstowe, obrazowe i wideo, kontekst 256 tysięcy tokenów oraz licencję OpenMDW-1.1. Wyjaśnia też, skąd się wziął: to Super VL 120B-A12B skompresowany metodą NVIDIA Star Elastic (arXiv 2605.07182), w którym liczba aktywnych ekspertów spada z 22 do 9, z fazą odzyskiwania po kompresji obejmującą 120 miliardów tokenów.

W przypadku Bolta, inaczej niż przy Super VL, NVIDIA publikuje liczby w model card. Wersja skwantyzowana IQ2 uzyskuje 86,43 w GPQA Diamond, 50,98 w Terminal-Bench 2.1 i 66,75 w BrowseComp, w zestawieniu z Qwen3.6-35B-A3B, Gemma4 26B-A4B i Nemotron 3.5 Lightning 30B-A3B. Nie wygrywa wszędzie: w dokładności AA-Omniscience ma 16,90 wobec 22,17 Gemmy4, a w PinchBench 87,82 wobec 88,07 Qwen3.6. NVIDIA wskazuje obsługę llama.cpp, Ollama, LM Studio, Unsloth i vLLM, czyli narzędzi, którymi naprawdę uruchamia się model lokalnie. Trzeci model, 4-gigabajtowy Bolt E4B, jest przeznaczony dla agentów konwersacyjnych, asystentów głosowych i interaktywnych postaci, także na Jetsonie, a NVIDIA zapowiada jego dostępność na 23 października — to zapowiedziana data, a nie premiera, która już się odbyła. Wśród pierwszych użytkowników firma wymienia Scale AI (z wersjami dla Skydance i EY), AfterQuery (dla Hebbii), AI21, Alice i Mercor, a także zapowiada integracje z Atlassianem, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce i Synopsys. Z NVIDIA Dynamo deklaruje do 8 razy więcej obsłużonych użytkowników i opóźnienia niższe o 85%, i znów bez podania, w porównaniu z czym.

To, co mi zostaje, to asymetria między dwiema zapowiedziami w ramach jednej zapowiedzi. O Bolcie znamy licencję, architekturę, kontekst, benchmarki (podane przez NVIDIĘ), a nawet to, gdzie przegrywa. W przypadku Super VL, większego modelu, na którym opierają się deklaracje o szybkości, nie mogłam otworzyć model card na Hugging Face, bo dostęp był zablokowany, więc nie zweryfikowałam ani licencji, ani długości kontekstu — forum NVIDII mówi o milionie tokenów, a wynik 26,5 w indeksie Artificial Analysis krąży po serwisach wtórnych, ale w źródle go nie znalazłam. Kwantyzacja do 2 bitów, która mieści model o 74 miliardach parametrów w konsumenckiej karcie z 24 GB, pozostaje jednak prawdziwą wiadomością techniczną: jeśli te 24 GB wytrzymają też realne obciążenie, zmienia się to, kto może uruchomić agenta multimodalnego w domu. Ale to pokażą niezależne pomiary, a na razie nie ma ich dla żadnego z trzech modeli (a Bolt E4B nie jest jeszcze dostępny).

— Olya