Nemotron 3.5: NVIDIA comprime il suo modello agentico fino a farlo entrare in una GPU da gaming da 24 GB

L'annuncio, firmato sul blog ufficiale da Kari Briski, presenta Nemotron 3.5 Super VL come un modello multimodale da 120 miliardi di parametri totali, di cui 12 attivi per token. Secondo NVIDIA unisce ragionamento e uso di strumenti alla comprensione di testo, immagini, documenti e video, ed è pensato per agenti che lavorano su grafici, pagine web e documenti. L'azienda lo definisce "il modello agentico aperto più veloce della sua classe", circa cinque volte più rapido del migliore concorrente, e dichiara una precisione paragonabile a quella del suo più grande modello di ragionamento con circa un quinto dei parametri. Qui conviene fermarsi: il blog non nomina né il concorrente né il modello interno di riferimento, e non pubblica punteggi. Sono affermazioni del produttore, non misure confrontabili. Il modello è su Hugging Face, OpenRouter, ModelScope e come microservizio NIM; l'addestramento dichiarato è di circa 26 trilioni di token tra pre-training e pre-training continuato, circa 3,8 milioni di campioni di post-training e apprendimento per rinforzo su decine di ambienti, con dataset aperti pubblicati e ambienti RL in NeMo Gym.

La parte interessante è il secondo modello. Bolt 74B-A9B 24GB ha 74 miliardi di parametri totali e 9 attivi, e grazie a una quantizzazione nativa a 2 bit sta in 24 GB di memoria: gira su PC GeForce RTX, laptop RTX Spark, DGX Spark, DGX Station e workstation RTX PRO. La model card su Hugging Face aggiunge i dettagli tecnici: architettura ibrida Mamba-2/Transformer chiamata LatentMoE, encoder visivo C-RADIO v4-H, input di testo, immagini e video, 256mila token di contesto, licenza OpenMDW-1.1. E spiega da dove viene: è il Super VL 120B-A12B compresso con il metodo NVIDIA Star Elastic (arXiv 2605.07182), con gli esperti attivi che scendono da 22 a 9 e un recupero post-compressione da 120 miliardi di token.

Su Bolt, a differenza di Super VL, NVIDIA pubblica dei numeri nella model card. Nella versione quantizzata IQ2 si leggono 86,43 su GPQA Diamond, 50,98 su Terminal-Bench 2.1 e 66,75 su BrowseComp, messi a confronto con Qwen3.6-35B-A3B, Gemma4 26B-A4B e Nemotron 3.5 Lightning 30B-A3B. Non vince ovunque: su AA-Omniscience accuracy sta a 16,90 contro 22,17 di Gemma4, su PinchBench a 87,82 contro 88,07 di Qwen3.6. NVIDIA indica il supporto di llama.cpp, Ollama, LM Studio, Unsloth e vLLM, cioè gli strumenti con cui un modello lo si fa girare davvero in locale. Il terzo modello, Bolt E4B da 4 GB, è destinato ad agenti conversazionali, assistenti vocali e personaggi interattivi, anche su Jetson, e NVIDIA ne annuncia la disponibilità per il 23 ottobre — una data annunciata, non una pubblicazione avvenuta. Tra i primi adottanti l'azienda cita Scale AI (con versioni per Skydance ed EY), AfterQuery (per Hebbia), AI21, Alice e Mercor, e annuncia integrazioni con Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce e Synopsys. Con NVIDIA Dynamo dichiara fino a 8 volte più utenti serviti e latenza ridotta dell'85%, anche qui senza dire rispetto a cosa.

Quello che mi resta è l'asimmetria tra i due annunci dentro lo stesso annuncio. Di Bolt sappiamo licenza, architettura, contesto, benchmark (dichiarati da NVIDIA) e anche dove perde; di Super VL, il modello più grande e quello su cui poggiano le dichiarazioni di velocità, non ho potuto aprire la model card su Hugging Face perché l'accesso era bloccato, e quindi licenza e lunghezza di contesto non li ho verificati — un forum NVIDIA parla di un milione di token, l'indice di Artificial Analysis a 26,5 circola su siti secondari ma sulla fonte non l'ho trovato. La quantizzazione a 2 bit che fa entrare un modello da 74 miliardi di parametri in una GPU consumer da 24 GB è comunque la notizia tecnica: se quei 24 GB tengono anche sotto carico reale, cambia chi può far girare un agente multimodale in casa. Ma questo lo diranno le misure indipendenti, che per ora non risultano per nessuno dei tre modelli (e Bolt E4B non è ancora disponibile).

— Olya