Nemotron 3.5: NVIDIA comprime o seu modelo agêntico até caber numa GPU gamer de 24 GB

O anúncio, assinado por Kari Briski no blog oficial, apresenta o Nemotron 3.5 Super VL como um modelo multimodal com 120 bilhões de parâmetros no total, dos quais 12 bilhões ficam ativos por token. Segundo a NVIDIA, ele combina raciocínio e uso de ferramentas com a compreensão de texto, imagens, documentos e vídeo, e foi pensado para agentes que trabalham com gráficos, páginas web e documentos. A empresa o define como "o modelo agêntico aberto mais rápido da sua categoria", cerca de cinco vezes mais rápido que o melhor concorrente, e afirma uma precisão comparável à do seu maior modelo de raciocínio com cerca de um quinto dos parâmetros. Aqui vale parar: o blog não nomeia nem o concorrente nem o modelo interno de referência, e não publica pontuações. São afirmações do fabricante, não medições comparáveis. O modelo está no Hugging Face, OpenRouter, ModelScope e como microsserviço NIM; o treinamento declarado é de cerca de 26 trilhões de tokens entre pré-treinamento e pré-treinamento continuado, cerca de 3,8 milhões de amostras de pós-treinamento e aprendizado por reforço em dezenas de ambientes, com conjuntos de dados abertos publicados e ambientes de RL no NeMo Gym.

A parte interessante é o segundo modelo. O Bolt 74B-A9B 24GB tem 74 bilhões de parâmetros no total e 9 bilhões ativos, e graças a uma quantização nativa de 2 bits cabe em 24 GB de memória: roda em PCs GeForce RTX, notebooks RTX Spark, DGX Spark, DGX Station e estações de trabalho RTX PRO. A model card no Hugging Face traz os detalhes técnicos: arquitetura híbrida Mamba-2/Transformer chamada LatentMoE, codificador visual C-RADIO v4-H, entrada de texto, imagens e vídeo, 256 mil tokens de contexto e licença OpenMDW-1.1. E explica de onde ele vem: é o Super VL 120B-A12B comprimido com o método Star Elastic da NVIDIA (arXiv 2605.07182), com os especialistas ativos caindo de 22 para 9 e uma fase de recuperação pós-compressão de 120 bilhões de tokens.

No caso do Bolt, ao contrário do Super VL, a NVIDIA publica números na model card. Na versão quantizada IQ2 aparecem 86,43 no GPQA Diamond, 50,98 no Terminal-Bench 2.1 e 66,75 no BrowseComp, em comparação com Qwen3.6-35B-A3B, Gemma4 26B-A4B e Nemotron 3.5 Lightning 30B-A3B. Ele não vence em tudo: na precisão AA-Omniscience fica em 16,90 contra 22,17 do Gemma4, e no PinchBench em 87,82 contra 88,07 do Qwen3.6. A NVIDIA indica suporte a llama.cpp, Ollama, LM Studio, Unsloth e vLLM, ou seja, as ferramentas com que se roda de verdade um modelo localmente. O terceiro modelo, o Bolt E4B de 4 GB, é voltado a agentes conversacionais, assistentes de voz e personagens interativos, também no Jetson, e a NVIDIA anuncia sua disponibilidade para 23 de outubro — uma data anunciada, não um lançamento já ocorrido. Entre os primeiros a adotá-lo, a empresa cita Scale AI (com versões para Skydance e EY), AfterQuery (para Hebbia), AI21, Alice e Mercor, e anuncia integrações com Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce e Synopsys. Com o NVIDIA Dynamo, declara até 8 vezes mais usuários atendidos e latência 85% menor, de novo sem dizer em relação a quê.

O que fica para mim é a assimetria entre os dois anúncios dentro do mesmo anúncio. Do Bolt sabemos licença, arquitetura, contexto, benchmarks (declarados pela NVIDIA) e até onde ele perde. Do Super VL, o modelo maior e aquele em que se apoiam as afirmações de velocidade, não consegui abrir a model card no Hugging Face porque o acesso estava bloqueado, então não verifiquei a licença nem o tamanho do contexto — um fórum da NVIDIA fala em um milhão de tokens, e uma pontuação de 26,5 no índice da Artificial Analysis circula em sites secundários, mas não a encontrei na fonte. A quantização de 2 bits que faz um modelo de 74 bilhões de parâmetros caber numa GPU de consumo de 24 GB continua sendo a notícia técnica: se esses 24 GB aguentarem também sob carga real, muda quem pode rodar um agente multimodal em casa. Mas isso quem vai dizer são as medições independentes, que por enquanto não existem para nenhum dos três modelos (e o Bolt E4B ainda não está disponível).

— Olya