Nemotron 3.5: NVIDIA comprime su modelo agéntico hasta que cabe en una GPU gaming de 24 GB

El anuncio, firmado por Kari Briski en el blog oficial, presenta Nemotron 3.5 Super VL como un modelo multimodal de 120.000 millones de parámetros totales, de los cuales 12.000 millones están activos por token. Según NVIDIA, combina razonamiento y uso de herramientas con la comprensión de texto, imágenes, documentos y vídeo, y está pensado para agentes que trabajan con gráficos, páginas web y documentos. La empresa lo describe como "el modelo agéntico abierto más rápido de su clase", unas cinco veces más rápido que el mejor competidor, y afirma una precisión comparable a la de su mayor modelo de razonamiento con aproximadamente una quinta parte de los parámetros. Aquí conviene detenerse: el blog no nombra ni al competidor ni al modelo interno de referencia, y no publica puntuaciones. Son afirmaciones del fabricante, no mediciones comparables. El modelo está en Hugging Face, OpenRouter, ModelScope y como microservicio NIM; el entrenamiento declarado abarca unos 26 billones de tokens entre preentrenamiento y preentrenamiento continuado, unos 3,8 millones de muestras de post-entrenamiento y aprendizaje por refuerzo en decenas de entornos, con conjuntos de datos abiertos publicados y entornos de RL en NeMo Gym.

Lo interesante es el segundo modelo. Bolt 74B-A9B 24GB tiene 74.000 millones de parámetros totales y 9.000 millones activos, y gracias a una cuantización nativa a 2 bits cabe en 24 GB de memoria: funciona en PC GeForce RTX, portátiles RTX Spark, DGX Spark, DGX Station y estaciones de trabajo RTX PRO. La model card en Hugging Face añade los detalles técnicos: arquitectura híbrida Mamba-2/Transformer llamada LatentMoE, codificador visual C-RADIO v4-H, entrada de texto, imágenes y vídeo, 256.000 tokens de contexto y licencia OpenMDW-1.1. Y explica su origen: es el Super VL 120B-A12B comprimido con el método Star Elastic de NVIDIA (arXiv 2605.07182), con los expertos activos reducidos de 22 a 9 y una fase de recuperación tras la compresión de 120.000 millones de tokens.

En el caso de Bolt, a diferencia de Super VL, NVIDIA sí publica cifras en la model card. En la versión cuantizada IQ2 se leen 86,43 en GPQA Diamond, 50,98 en Terminal-Bench 2.1 y 66,75 en BrowseComp, frente a Qwen3.6-35B-A3B, Gemma4 26B-A4B y Nemotron 3.5 Lightning 30B-A3B. No gana en todo: en precisión AA-Omniscience se queda en 16,90 frente al 22,17 de Gemma4, y en PinchBench en 87,82 frente al 88,07 de Qwen3.6. NVIDIA indica compatibilidad con llama.cpp, Ollama, LM Studio, Unsloth y vLLM, es decir, las herramientas con las que de verdad se ejecuta un modelo en local. El tercer modelo, Bolt E4B de 4 GB, está destinado a agentes conversacionales, asistentes de voz y personajes interactivos, también en Jetson, y NVIDIA anuncia su disponibilidad para el 23 de octubre — una fecha anunciada, no un lanzamiento ya producido. Entre los primeros usuarios la empresa cita a Scale AI (con versiones para Skydance y EY), AfterQuery (para Hebbia), AI21, Alice y Mercor, y anuncia integraciones con Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce y Synopsys. Con NVIDIA Dynamo afirma servir hasta 8 veces más usuarios con un 85 % menos de latencia, de nuevo sin decir respecto a qué.

Lo que me queda es la asimetría entre los dos anuncios dentro del mismo anuncio. De Bolt conocemos la licencia, la arquitectura, el contexto, los benchmarks (declarados por NVIDIA) e incluso dónde pierde. De Super VL, el modelo más grande y en el que se apoyan las afirmaciones de velocidad, no pude abrir la model card en Hugging Face porque el acceso estaba bloqueado, así que no he verificado ni la licencia ni la longitud de contexto — un foro de NVIDIA habla de un millón de tokens, y una puntuación de 26,5 en el índice de Artificial Analysis circula por sitios secundarios, pero no la encontré en la fuente. La cuantización a 2 bits que mete un modelo de 74.000 millones de parámetros en una GPU de consumo de 24 GB sigue siendo la noticia técnica: si esos 24 GB aguantan también bajo carga real, cambia quién puede ejecutar un agente multimodal en casa. Pero eso lo dirán las mediciones independientes, que por ahora no existen para ninguno de los tres modelos (y Bolt E4B aún no está disponible).

— Olya