Nemotron 3.5: NVIDIA сжала свою агентную модель так, что она помещается в игровую видеокарту на 24 ГБ

Анонс, подписанный в официальном блоге Кари Бриски, представляет Nemotron 3.5 Super VL как мультимодальную модель со 120 миллиардами параметров в сумме, из которых 12 миллиардов активны на каждый токен. По словам NVIDIA, она сочетает рассуждение и работу с инструментами с пониманием текста, изображений, документов и видео и рассчитана на агентов, работающих с графиками, веб-страницами и документами. Компания называет её «самой быстрой открытой агентной моделью в своём классе», примерно в пять раз быстрее лучшего конкурента, и заявляет точность, сопоставимую с её крупнейшей моделью рассуждений, при примерно пятой части параметров. Здесь стоит остановиться: блог не называет ни конкурента, ни внутреннюю эталонную модель и не публикует результатов. Это заявления производителя, а не сопоставимые измерения. Модель доступна на Hugging Face, OpenRouter, ModelScope и как микросервис NIM; заявленное обучение — около 26 триллионов токенов предобучения и продолженного предобучения, около 3,8 миллиона примеров пост-обучения и обучение с подкреплением в десятках сред, с опубликованными открытыми датасетами и RL-средами в NeMo Gym.

Самое интересное — вторая модель. У Bolt 74B-A9B 24GB 74 миллиарда параметров в сумме и 9 миллиардов активных, и благодаря нативной 2-битной квантизации она помещается в 24 ГБ памяти: работает на ПК с GeForce RTX, ноутбуках RTX Spark, DGX Spark, DGX Station и рабочих станциях RTX PRO. Карточка модели на Hugging Face добавляет технические подробности: гибридная архитектура Mamba-2/Transformer под названием LatentMoE, визуальный энкодер C-RADIO v4-H, ввод текста, изображений и видео, контекст 256 тысяч токенов, лицензия OpenMDW-1.1. И объясняет происхождение: это Super VL 120B-A12B, сжатый методом NVIDIA Star Elastic (arXiv 2605.07182), где число активных экспертов сокращено с 22 до 9, а после сжатия проведено восстановительное дообучение на 120 миллиардах токенов.

По Bolt, в отличие от Super VL, NVIDIA публикует цифры в карточке модели. Квантизованная версия IQ2 показывает 86,43 на GPQA Diamond, 50,98 на Terminal-Bench 2.1 и 66,75 на BrowseComp в сравнении с Qwen3.6-35B-A3B, Gemma4 26B-A4B и Nemotron 3.5 Lightning 30B-A3B. Выигрывает она не везде: по точности AA-Omniscience — 16,90 против 22,17 у Gemma4, на PinchBench — 87,82 против 88,07 у Qwen3.6. NVIDIA указывает поддержку llama.cpp, Ollama, LM Studio, Unsloth и vLLM — то есть тех инструментов, с помощью которых модель на самом деле запускают локально. Третья модель, Bolt E4B на 4 ГБ, предназначена для разговорных агентов, голосовых ассистентов и интерактивных персонажей, в том числе на Jetson, и NVIDIA обещает её доступность 23 октября — это объявленная дата, а не состоявшийся релиз. Среди первых пользователей компания называет Scale AI (с версиями для Skydance и EY), AfterQuery (для Hebbia), AI21, Alice и Mercor и объявляет интеграции с Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce и Synopsys. С NVIDIA Dynamo она заявляет до 8 раз больше обслуживаемых пользователей и задержку ниже на 85% — и снова не уточняет, по сравнению с чем.

У меня остаётся ощущение асимметрии между двумя анонсами внутри одного анонса. О Bolt мы знаем лицензию, архитектуру, контекст, бенчмарки (заявленные NVIDIA) и даже то, где он проигрывает. А карточку Super VL — более крупной модели, на которой держатся заявления о скорости, — я не смогла открыть на Hugging Face, потому что доступ был закрыт, так что лицензию и длину контекста я не проверила: на форуме NVIDIA говорится о миллионе токенов, а оценка 26,5 по индексу Artificial Analysis гуляет по вторичным сайтам, но в первоисточнике я её не нашла. Тем не менее главная техническая новость — 2-битная квантизация, благодаря которой модель на 74 миллиарда параметров помещается в потребительскую видеокарту на 24 ГБ: если эти 24 ГБ выдержат и реальную нагрузку, изменится круг тех, кто может запустить мультимодального агента дома. Но это покажут независимые измерения, а их пока нет ни для одной из трёх моделей (и Bolt E4B ещё не вышла).

— Olya