Nemotron 3.5: NVIDIA komprimiert sein agentisches Modell, bis es auf eine 24-GB-Gaming-GPU passt

Die Ankündigung, im offiziellen Blog von Kari Briski gezeichnet, stellt Nemotron 3.5 Super VL als multimodales Modell mit insgesamt 120 Milliarden Parametern vor, von denen 12 Milliarden pro Token aktiv sind. Laut NVIDIA verbindet es logisches Schließen und Werkzeugnutzung mit dem Verständnis von Text, Bildern, Dokumenten und Videos und ist für Agenten gedacht, die mit Diagrammen, Webseiten und Dokumenten arbeiten. Das Unternehmen nennt es „das schnellste offene agentische Modell seiner Klasse“, rund fünfmal schneller als der beste Konkurrent, und behauptet eine Genauigkeit vergleichbar mit seinem größten Reasoning-Modell bei etwa einem Fünftel der Parameter. Hier lohnt es sich innezuhalten: Der Blog nennt weder den Konkurrenten noch das interne Referenzmodell und veröffentlicht keine Punktzahlen. Das sind Herstellerangaben, keine vergleichbaren Messungen. Das Modell ist auf Hugging Face, OpenRouter, ModelScope und als NIM-Microservice verfügbar; angegeben wird ein Training mit rund 26 Billionen Token aus Pre-Training und fortgesetztem Pre-Training, etwa 3,8 Millionen Post-Training-Beispielen und Reinforcement Learning in Dutzenden Umgebungen, mit veröffentlichten offenen Datensätzen und RL-Umgebungen in NeMo Gym.

Interessant ist das zweite Modell. Bolt 74B-A9B 24GB hat 74 Milliarden Parameter insgesamt und 9 Milliarden aktive, und dank nativer 2-Bit-Quantisierung passt es in 24 GB Speicher: Es läuft auf GeForce-RTX-PCs, RTX-Spark-Laptops, DGX Spark, DGX Station und RTX-PRO-Workstations. Die Model Card auf Hugging Face liefert die technischen Details: eine hybride Mamba-2/Transformer-Architektur namens LatentMoE, den Vision-Encoder C-RADIO v4-H, Eingaben als Text, Bild und Video, 256.000 Token Kontext, Lizenz OpenMDW-1.1. Und sie erklärt die Herkunft: Es ist Super VL 120B-A12B, komprimiert mit NVIDIAs Methode Star Elastic (arXiv 2605.07182), wobei die aktiven Experten von 22 auf 9 sinken und eine Wiederherstellungsphase nach der Kompression mit 120 Milliarden Token folgt.

Anders als bei Super VL veröffentlicht NVIDIA für Bolt Zahlen in der Model Card. Die quantisierte IQ2-Version erreicht 86,43 bei GPQA Diamond, 50,98 bei Terminal-Bench 2.1 und 66,75 bei BrowseComp, verglichen mit Qwen3.6-35B-A3B, Gemma4 26B-A4B und Nemotron 3.5 Lightning 30B-A3B. Es gewinnt nicht überall: Bei der AA-Omniscience-Genauigkeit liegt es bei 16,90 gegenüber 22,17 von Gemma4, bei PinchBench bei 87,82 gegenüber 88,07 von Qwen3.6. NVIDIA nennt Unterstützung für llama.cpp, Ollama, LM Studio, Unsloth und vLLM, also die Werkzeuge, mit denen man ein Modell tatsächlich lokal betreibt. Das dritte Modell, Bolt E4B mit 4 GB, ist für Konversationsagenten, Sprachassistenten und interaktive Figuren gedacht, auch auf Jetson, und NVIDIA kündigt die Verfügbarkeit für den 23. Oktober an — ein angekündigtes Datum, keine erfolgte Veröffentlichung. Als frühe Anwender nennt das Unternehmen Scale AI (mit Versionen für Skydance und EY), AfterQuery (für Hebbia), AI21, Alice und Mercor und kündigt Integrationen mit Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce und Synopsys an. Mit NVIDIA Dynamo verspricht es bis zu achtmal mehr bediente Nutzer und 85 % weniger Latenz, auch hier ohne zu sagen, im Vergleich wozu.

Was mir bleibt, ist die Asymmetrie zwischen den zwei Ankündigungen innerhalb derselben Ankündigung. Bei Bolt kennen wir Lizenz, Architektur, Kontext, Benchmarks (von NVIDIA angegeben) und sogar, wo es verliert. Bei Super VL, dem größeren Modell, auf dem die Geschwindigkeitsversprechen beruhen, konnte ich die Model Card auf Hugging Face nicht öffnen, weil der Zugang gesperrt war; Lizenz und Kontextlänge habe ich also nicht überprüft — ein NVIDIA-Forum spricht von einer Million Token, ein Artificial-Analysis-Indexwert von 26,5 kursiert auf Sekundärseiten, an der Quelle habe ich ihn nicht gefunden. Die 2-Bit-Quantisierung, die ein Modell mit 74 Milliarden Parametern in eine 24-GB-Consumer-GPU bringt, ist dennoch die technische Nachricht: Wenn diese 24 GB auch unter realer Last halten, ändert sich, wer zu Hause einen multimodalen Agenten betreiben kann. Das werden aber unabhängige Messungen zeigen müssen, und die gibt es bisher für keines der drei Modelle (Bolt E4B ist zudem noch nicht verfügbar).

— Olya