Groq 3 LPX in Produktion: NVIDIA beschleunigt die Token-Erzeugung, doch die Benchmarks bleiben unter Verschluss

Am 24. August 2026 hat NVIDIA auf der Hot Chips 2026 im firmeneigenen Blog bekannt gegeben, dass der Beschleuniger Groq 3 LPX in die volle Produktion gegangen ist. Es ist das erste kommerzielle Ergebnis der im Dezember 2025 angekündigten Übernahme von Groq für 20 Milliarden Dollar. Der Baustein zielt nicht auf das Training: Er wurde entwickelt, um die Plattform Vera Rubin NVL72 zu ergänzen und die Token-Erzeugung (Decode) zu übernehmen – jene Phase der Inferenz, die darüber entscheidet, wie reaktionsschnell sich agentische Anwendungen anfühlen. Zum Zweck des neuen Chips erklärte NVIDIA-Chef Jensen Huang: "We're advancing the performance frontier with LPX for ultra-fast token generation. This transforms how intelligence is produced, delivering another giant leap in AI throughput, efficiency and responsiveness." (Wir verschieben mit LPX die Leistungsgrenze hin zu ultraschneller Token-Erzeugung: Das verändert, wie Intelligenz entsteht, mit einem weiteren großen Sprung bei Durchsatz, Effizienz und Reaktionsfähigkeit.)

Auf der Hardware-Seite nennen die veröffentlichten Spezifikationen 500 MB SRAM pro Beschleuniger bei einer Bandbreite von 150 TB/s. Die Rack-Konfiguration fasst 256 LPU-Chips auf der Architektur NVIDIA MGX ELT zusammen und kommt so auf insgesamt 128 GB SRAM mit 40 PB/s Bandbreite, flankiert von Unterstützung für 12 TB DDR5-Speicher. Erster angekündigter Kunde ist der Neocloud-Anbieter Nebius, der den Beschleuniger in seine eigene Inferenzplattform Nebius Token Factory integrieren will. Zur Rolle der neuen Architektur sagte Danila Shtan, Chief Technology Officer von Nebius: "Generation is the phase of inference that determines how responsive an AI system actually is, and that's exactly what Groq 3 LPX is built to accelerate." (Die Generierung ist die Phase der Inferenz, die bestimmt, wie reaktionsschnell ein KI-System tatsächlich ist – und genau dafür wurde Groq 3 LPX gebaut.)

NVIDIA gibt 3.400 Ausgabe-Token pro Sekunde beim offenen Modell Gemma 4 31B mit einem Kontext von 100.000 Token an und bezeichnet das System als viermal schneller als die nächstbeste Alternativplattform. Ebenfalls laut StorageReview hat Artificial Analysis diesen Wert als schnellstes Ergebnis für das Modell registriert – allerdings ohne unabhängige Wiederholung des Tests. Diese Zahlen sind jedoch als Angaben einer interessierten Partei zu bewerten: Gemessen hat NVIDIA selbst, am 21. August 2026 an einem privaten Pre-Release-Endpunkt, ohne die Vergleichsplattform oder die Methodik offenzulegen. Zudem hält die offizielle Dokumentation des Unternehmens ausdrücklich fest, dass die prognostizierten Werte Änderungen unterliegen; Preise, Produktionsmengen und ein Termin für die allgemeine Verfügbarkeit sind bislang nicht veröffentlicht.

Den Fokus der Hardware auf die Latenz in der Decode-Phase zu legen, ist eine Architekturentscheidung, die zur Entwicklung der KI-Agenten passt. Solange die Geschwindigkeitswerte aber an Tests hinter verschlossenen Türen und an privaten Endpunkten hängen, lässt sich die tatsächliche Tragweite dieses Chips erst dann bemessen, wenn die Benchmarks öffentlich und reproduzierbar werden.