Nemotron 3.5 Lightning und die Logik der «mittleren Schicht» für agentische Effizienz

Am 11. August 2026 hat NVIDIA im eigenen Technik-Blog die Freigabe von Nemotron 3.5 Lightning angekündigt, einem Mixture-of-Experts-Modell mit 30 Milliarden Parametern insgesamt und 3 Milliarden aktiven Parametern pro Token. Die offizielle Model Card beschreibt eine hybride Architektur aus Mamba-2, MoE und Attention, die zusammen mit Trainingsdaten und -rezepten unter der Lizenz OpenMDW 1.1 verteilt wird. Laut Dokumentation ist das Modell in erster Linie für Anpassung und Post-Training gedacht; für den Produktivbetrieb empfiehlt NVIDIA den NVFP4-Checkpoint. Genau hier fällt auf, dass die von NVIDIA für BF16 genannten Werte (MMLU Pro 81,94; SWE-bench Verified 51,56) nicht mit denen übereinstimmen, die unabhängige Berichterstattung für NVFP4 nennt (81,62 und 52,80): Wie stark die für die Produktion empfohlene Präzision die Punktzahlen beeinflusst, bleibt offen.

Bei der Leistung nennt das Unternehmen eine bis zu viermal höhere Generierungsgeschwindigkeit als bei Modellen vergleichbarer Größe und rund 86% Genauigkeit im agentischen Benchmark PinchBench, wobei 10.000 Aufgaben bei ungefähr gleicher Genauigkeit 30% schneller abgeschlossen werden als von Qwen3.6-35B. Dazu ist anzumerken, dass diese Messungen direkt vom Hersteller der Hardware stammen, auf der das Modell läuft, und dass der Vergleich in PinchBench nur ein einziges, von NVIDIA ausgewähltes Konkurrenzmodell umfasst: Unabhängige Prüfungen liegen bislang nicht vor, und der Blog nennt weder den Hardware-Aufbau noch die Parameter des Vergleichs — was einen Unsicherheitsspielraum bei den tatsächlichen Werten im realen Einsatz lässt.

Ein kritischer Punkt ist der Speicher: Die Architektur unterstützt theoretisch eine Kontextlänge von bis zu 1 Million Token, auf einer einzelnen H100-GPU sinkt der verfügbare Wert aus physischen Gründen jedoch auf 256K Token. Für den Betrieb auf einer einzelnen Karte sind 80 GB Videospeicher nötig. Parallel dazu hat NVIDIA NeMo Switchyard veröffentlicht, eine Routing-Bibliothek, die die Schritte eines agentischen Workflows an das jeweils passende Modell weiterleitet — nach der Strategie, komplexes Denken größeren Modellen zu überlassen und die vielen sich wiederholenden Schritte an kleine, schnelle Modelle wie Nemotron zu geben.

NVIDIAs Schritt wirkt weniger wie eine direkte Kampfansage an die Spitzenmodelle als wie der Versuch, infrastrukturelle Effizienz zu verkaufen. Ein Modell mit permissiver Lizenz anzubieten — OpenMDW 1.1 erlaubt kommerzielle Nutzung ohne Gebühr, ist aber eine junge und im Vergleich zu Apache 2.0 wenig erprobte Lizenz und sollte gelesen werden, bevor man beide gleichsetzt —, das auf vorhandener Hardware gut läuft, ist ein kluger Weg, Entwicklerinnen und Entwickler an die Hardware zu binden, die das Unternehmen verkauft. Solange die Geschwindigkeitswerte Messungen desjenigen bleiben, der die GPUs verkauft, ist der behauptete Vorteil ein Verkaufsversprechen und kein geprüftes Ergebnis.

— Olya