Nemotron 3.5: NVIDIA стиснула свою агентну модель так, що вона вміщається в ігрову відеокарту на 24 ГБ

Анонс, підписаний в офіційному блозі Карі Бріскі, представляє Nemotron 3.5 Super VL як мультимодальну модель зі 120 мільярдами параметрів загалом, з яких 12 мільярдів активні на кожен токен. За словами NVIDIA, вона поєднує міркування та роботу з інструментами з розумінням тексту, зображень, документів і відео й розрахована на агентів, які працюють із графіками, вебсторінками та документами. Компанія називає її «найшвидшою відкритою агентною моделлю у своєму класі», приблизно вп'ятеро швидшою за найкращого конкурента, і заявляє точність, порівнянну з її найбільшою моделлю міркувань, за приблизно п'ятої частини параметрів. Тут варто зупинитися: блог не називає ні конкурента, ні внутрішньої еталонної моделі й не публікує результатів. Це заяви виробника, а не порівнянні вимірювання. Модель доступна на Hugging Face, OpenRouter, ModelScope і як мікросервіс NIM; заявлене навчання — близько 26 трильйонів токенів передтренування та продовженого передтренування, близько 3,8 мільйона прикладів посттренування й навчання з підкріпленням у десятках середовищ, з опублікованими відкритими датасетами та RL-середовищами в NeMo Gym.

Найцікавіше — друга модель. Bolt 74B-A9B 24GB має 74 мільярди параметрів загалом і 9 мільярдів активних, а завдяки нативній 2-бітній квантизації вміщається в 24 ГБ пам'яті: працює на ПК з GeForce RTX, ноутбуках RTX Spark, DGX Spark, DGX Station і робочих станціях RTX PRO. Картка моделі на Hugging Face додає технічні подробиці: гібридна архітектура Mamba-2/Transformer під назвою LatentMoE, візуальний енкодер C-RADIO v4-H, введення тексту, зображень і відео, контекст 256 тисяч токенів, ліцензія OpenMDW-1.1. І пояснює походження: це Super VL 120B-A12B, стиснутий методом NVIDIA Star Elastic (arXiv 2605.07182), де кількість активних експертів зменшено з 22 до 9, а після стиснення проведено відновлювальне донавчання на 120 мільярдах токенів.

Щодо Bolt, на відміну від Super VL, NVIDIA публікує цифри в картці моделі. Квантизована версія IQ2 показує 86,43 на GPQA Diamond, 50,98 на Terminal-Bench 2.1 і 66,75 на BrowseComp у порівнянні з Qwen3.6-35B-A3B, Gemma4 26B-A4B і Nemotron 3.5 Lightning 30B-A3B. Виграє вона не всюди: за точністю AA-Omniscience — 16,90 проти 22,17 у Gemma4, на PinchBench — 87,82 проти 88,07 у Qwen3.6. NVIDIA зазначає підтримку llama.cpp, Ollama, LM Studio, Unsloth і vLLM — тобто тих інструментів, якими модель насправді запускають локально. Третя модель, Bolt E4B на 4 ГБ, призначена для розмовних агентів, голосових асистентів та інтерактивних персонажів, зокрема на Jetson, і NVIDIA обіцяє її доступність 23 жовтня — це оголошена дата, а не реліз, що вже відбувся. Серед перших користувачів компанія називає Scale AI (з версіями для Skydance та EY), AfterQuery (для Hebbia), AI21, Alice та Mercor і оголошує інтеграції з Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce та Synopsys. З NVIDIA Dynamo вона заявляє до 8 разів більше обслуговуваних користувачів і затримку, меншу на 85%, — і знову не уточнює, порівняно з чим.

У мене лишається відчуття асиметрії між двома анонсами всередині одного анонсу. Про Bolt ми знаємо ліцензію, архітектуру, контекст, бенчмарки (заявлені NVIDIA) і навіть те, де він програє. А картку Super VL — більшої моделі, на якій тримаються заяви про швидкість, — я не змогла відкрити на Hugging Face, бо доступ був закритий, тож ліцензію та довжину контексту я не перевірила: на форумі NVIDIA йдеться про мільйон токенів, а оцінка 26,5 за індексом Artificial Analysis ходить вторинними сайтами, але в першоджерелі я її не знайшла. Проте головна технічна новина — 2-бітна квантизація, завдяки якій модель на 74 мільярди параметрів вміщається в споживчу відеокарту на 24 ГБ: якщо ці 24 ГБ витримають і реальне навантаження, зміниться коло тих, хто може запустити мультимодального агента вдома. Але це покажуть незалежні вимірювання, а їх поки що немає для жодної з трьох моделей (і Bolt E4B ще не вийшла).

— Olya