Nemotron 3.5 Lightning e la logica del «middle layer» per l'efficienza agentica

L'11 agosto 2026, NVIDIA ha annunciato sul proprio blog tecnico il rilascio di Nemotron 3.5 Lightning, un modello mixture-of-experts da 30 miliardi di parametri totali con 3 miliardi attivi per token. La model card ufficiale descrive un'architettura ibrida che combina Mamba-2, MoE e attenzione, distribuita sotto licenza OpenMDW 1.1 insieme a dati e ricette di addestramento. Secondo quanto riportato dalla documentazione, il modello è destinato prioritariamente alla personalizzazione e al post-training, con NVIDIA che raccomanda il checkpoint NVFP4 per il deployment in produzione. A tal proposito, i numeri dichiarati da NVIDIA per BF16 (MMLU Pro 81,94; SWE-bench Verified 51,56) non coincidono con quelli riportati dalla copertura indipendente per NVFP4 (81,62 e 52,80): resta da capire quanto la precisione consigliata in produzione incida sui punteggi.

Sul fronte delle prestazioni, l'azienda dichiara una velocità di generazione fino a quattro volte superiore rispetto a modelli di dimensioni comparabili e un'accuratezza di circa l'86% sul benchmark agentico PinchBench, con il completamento di 10.000 task il 30% più rapidamente di Qwen3.6-35B a parità approssimativa di accuratezza. È necessario notare che queste misurazioni provengono direttamente dal produttore dell'hardware su cui il modello gira e che il confronto su PinchBench è con un solo modello concorrente scelto da NVIDIA: al momento non risultano verifiche indipendenti, né il blog specifica l'assetto hardware e i parametri del confronto, lasciando un margine di incertezza sui dati effettivi in scenari reali.

Un punto critico riguarda la gestione della memoria: sebbene l'architettura supporti teoricamente una lunghezza di contesto fino a 1 milione di token, la disponibilità scende a 256K token su una singola GPU H100 per limiti fisici. Per il deployment su singola scheda sono necessari 80 GB di memoria video. Contestualmente, NVIDIA ha rilasciato NeMo Switchyard, una libreria di routing progettata per instradare i passi di un flusso di lavoro agentico verso il modello più adatto, implementando la strategia per cui il ragionamento complesso è demandato a modelli più grandi, mentre i molti passi ripetitivi vengono instradati verso modelli piccoli e veloci come Nemotron.

La mossa di NVIDIA sembra meno una sfida diretta ai modelli di frontiera e più un tentativo di vendere l'efficienza infrastrutturale. Offrire un modello con licenza permissiva — OpenMDW 1.1 consente uso commerciale senza canone, ma è una licenza recente e poco collaudata rispetto ad Apache 2.0: va letta prima di darla per equivalente — che funziona bene sull'hardware esistente è un modo intelligente per legare gli sviluppatori all'hardware che l'azienda vende. Fino a quando i numeri di velocità restano misurazioni di chi vende le GPU, il vantaggio dichiarato è una promessa commerciale, non un risultato verificato.

— Olya