Nemotron 3.5: NVIDIA comprimeert zijn agentische model tot het op een gaming-GPU van 24 GB past

De aankondiging, op het officiële blog ondertekend door Kari Briski, presenteert Nemotron 3.5 Super VL als een multimodaal model met in totaal 120 miljard parameters, waarvan er 12 miljard per token actief zijn. Volgens NVIDIA combineert het redeneren en toolgebruik met begrip van tekst, afbeeldingen, documenten en video, en is het bedoeld voor agents die werken met grafieken, webpagina's en documenten. Het bedrijf noemt het "het snelste open agentische model in zijn klasse", ongeveer vijf keer sneller dan de beste concurrent, en claimt een nauwkeurigheid vergelijkbaar met die van zijn eigen grootste redeneermodel met ongeveer een vijfde van de parameters. Hier is het verstandig even stil te staan: het blog noemt noch de concurrent noch het interne referentiemodel, en publiceert geen scores. Het zijn claims van de fabrikant, geen vergelijkbare metingen. Het model staat op Hugging Face, OpenRouter, ModelScope en is beschikbaar als NIM-microservice; de opgegeven training omvat ongeveer 26 biljoen tokens aan pre-training en voortgezette pre-training, zo'n 3,8 miljoen post-trainingvoorbeelden en reinforcement learning in tientallen omgevingen, met gepubliceerde open datasets en RL-omgevingen in NeMo Gym.

Het interessante deel is het tweede model. Bolt 74B-A9B 24GB heeft 74 miljard parameters in totaal en 9 miljard actief, en dankzij native 2-bit-kwantisatie past het in 24 GB geheugen: het draait op GeForce RTX-pc's, RTX Spark-laptops, DGX Spark, DGX Station en RTX PRO-workstations. De model card op Hugging Face geeft de technische details: een hybride Mamba-2/Transformer-architectuur genaamd LatentMoE, de visuele encoder C-RADIO v4-H, invoer van tekst, afbeeldingen en video, 256.000 tokens context en de licentie OpenMDW-1.1. Ook wordt uitgelegd waar het vandaan komt: het is Super VL 120B-A12B, gecomprimeerd met NVIDIA's Star Elastic-methode (arXiv 2605.07182), waarbij het aantal actieve experts daalt van 22 naar 9, gevolgd door een herstelfase na compressie van 120 miljard tokens.

Voor Bolt publiceert NVIDIA, anders dan bij Super VL, wel cijfers in de model card. De gekwantiseerde IQ2-versie scoort 86,43 op GPQA Diamond, 50,98 op Terminal-Bench 2.1 en 66,75 op BrowseComp, afgezet tegen Qwen3.6-35B-A3B, Gemma4 26B-A4B en Nemotron 3.5 Lightning 30B-A3B. Het wint niet overal: op AA-Omniscience-nauwkeurigheid scoort het 16,90 tegenover 22,17 voor Gemma4, op PinchBench 87,82 tegenover 88,07 voor Qwen3.6. NVIDIA noemt ondersteuning voor llama.cpp, Ollama, LM Studio, Unsloth en vLLM, de tools waarmee je een model echt lokaal draait. Het derde model, Bolt E4B van 4 GB, is bedoeld voor conversationele agents, spraakassistenten en interactieve personages, ook op Jetson, en NVIDIA kondigt beschikbaarheid aan op 23 oktober — een aangekondigde datum, geen release die al heeft plaatsgevonden. Als vroege gebruikers noemt het bedrijf Scale AI (met versies voor Skydance en EY), AfterQuery (voor Hebbia), AI21, Alice en Mercor, en het kondigt integraties aan met Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce en Synopsys. Met NVIDIA Dynamo claimt het tot 8 keer meer bediende gebruikers en 85% lagere latentie, ook hier zonder te zeggen ten opzichte waarvan.

Wat me bijblijft is de asymmetrie tussen de twee aankondigingen binnen dezelfde aankondiging. Van Bolt kennen we licentie, architectuur, context, benchmarks (opgegeven door NVIDIA) en zelfs waar het verliest. Van Super VL, het grotere model en het model waarop de snelheidsclaims rusten, kon ik de model card op Hugging Face niet openen omdat de toegang geblokkeerd was, dus licentie en contextlengte heb ik niet geverifieerd — een NVIDIA-forum spreekt van een miljoen tokens, en een Artificial Analysis-indexscore van 26,5 circuleert op secundaire sites, maar bij de bron heb ik die niet gevonden. De 2-bit-kwantisatie die een model van 74 miljard parameters in een consumenten-GPU van 24 GB laat passen, blijft het technische nieuws: als die 24 GB ook onder echte belasting standhouden, verandert wie thuis een multimodale agent kan draaien. Maar dat moeten onafhankelijke metingen uitwijzen, en die zijn er voorlopig voor geen van de drie modellen (en Bolt E4B is nog niet beschikbaar).

— Olya