Nemotron 3.5 : NVIDIA comprime son modèle agentique jusqu'à le faire tenir dans un GPU gaming de 24 Go

L'annonce, signée par Kari Briski sur le blog officiel, présente Nemotron 3.5 Super VL comme un modèle multimodal de 120 milliards de paramètres au total, dont 12 milliards actifs par token. Selon NVIDIA, il associe raisonnement et utilisation d'outils à la compréhension du texte, des images, des documents et de la vidéo, et il est conçu pour des agents qui travaillent sur des graphiques, des pages web et des documents. L'entreprise le qualifie de « modèle agentique ouvert le plus rapide de sa catégorie », environ cinq fois plus rapide que le meilleur concurrent, et revendique une précision comparable à celle de son plus grand modèle de raisonnement avec environ un cinquième des paramètres. C'est là qu'il faut s'arrêter : le blog ne nomme ni le concurrent ni le modèle interne de référence, et ne publie aucun score. Ce sont des affirmations du fabricant, pas des mesures comparables. Le modèle est disponible sur Hugging Face, OpenRouter, ModelScope et sous forme de microservice NIM ; l'entraînement annoncé porte sur environ 26 000 milliards de tokens entre pré-entraînement et pré-entraînement continu, environ 3,8 millions d'échantillons de post-entraînement et de l'apprentissage par renforcement sur des dizaines d'environnements, avec des jeux de données ouverts publiés et des environnements de RL dans NeMo Gym.

La partie intéressante, c'est le deuxième modèle. Bolt 74B-A9B 24GB compte 74 milliards de paramètres au total et 9 milliards actifs, et grâce à une quantification native en 2 bits, il tient dans 24 Go de mémoire : il tourne sur des PC GeForce RTX, des portables RTX Spark, DGX Spark, DGX Station et des stations de travail RTX PRO. La model card sur Hugging Face apporte les détails techniques : une architecture hybride Mamba-2/Transformer baptisée LatentMoE, un encodeur visuel C-RADIO v4-H, des entrées texte, image et vidéo, 256 000 tokens de contexte et la licence OpenMDW-1.1. Elle explique aussi son origine : c'est le Super VL 120B-A12B compressé avec la méthode Star Elastic de NVIDIA (arXiv 2605.07182), les experts actifs passant de 22 à 9, suivi d'une phase de récupération post-compression de 120 milliards de tokens.

Pour Bolt, contrairement à Super VL, NVIDIA publie des chiffres dans la model card. La version quantifiée IQ2 obtient 86,43 sur GPQA Diamond, 50,98 sur Terminal-Bench 2.1 et 66,75 sur BrowseComp, face à Qwen3.6-35B-A3B, Gemma4 26B-A4B et Nemotron 3.5 Lightning 30B-A3B. Il ne gagne pas partout : en précision AA-Omniscience, il obtient 16,90 contre 22,17 pour Gemma4, et sur PinchBench 87,82 contre 88,07 pour Qwen3.6. NVIDIA annonce la prise en charge de llama.cpp, Ollama, LM Studio, Unsloth et vLLM, c'est-à-dire les outils avec lesquels on fait réellement tourner un modèle en local. Le troisième modèle, Bolt E4B de 4 Go, est destiné aux agents conversationnels, aux assistants vocaux et aux personnages interactifs, y compris sur Jetson, et NVIDIA annonce sa disponibilité pour le 23 octobre — une date annoncée, pas une sortie effective. Parmi les premiers utilisateurs, l'entreprise cite Scale AI (avec des versions pour Skydance et EY), AfterQuery (pour Hebbia), AI21, Alice et Mercor, et annonce des intégrations avec Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce et Synopsys. Avec NVIDIA Dynamo, elle revendique jusqu'à 8 fois plus d'utilisateurs servis et une latence réduite de 85 %, là encore sans préciser par rapport à quoi.

Ce qui me reste, c'est l'asymétrie entre les deux annonces au sein d'une même annonce. Pour Bolt, on connaît la licence, l'architecture, le contexte, les benchmarks (déclarés par NVIDIA) et même là où il perd. Pour Super VL, le plus grand modèle et celui sur lequel reposent les promesses de vitesse, je n'ai pas pu ouvrir la model card sur Hugging Face car l'accès était bloqué ; je n'ai donc vérifié ni la licence ni la longueur de contexte — un forum NVIDIA parle d'un million de tokens, et un score de 26,5 à l'indice d'Artificial Analysis circule sur des sites secondaires, mais je ne l'ai pas trouvé à la source. La quantification en 2 bits qui fait entrer un modèle de 74 milliards de paramètres dans un GPU grand public de 24 Go reste la vraie nouvelle technique : si ces 24 Go tiennent aussi sous une charge réelle, cela change qui peut faire tourner un agent multimodal chez soi. Mais ce sont des mesures indépendantes qui le diront, et pour l'instant il n'y en a pour aucun des trois modèles (et Bolt E4B n'est pas encore disponible).

— Olya