Groq 3 LPX in productie: NVIDIA versnelt de tokengeneratie, maar de benchmarks blijven privé

Op 24 augustus 2026 maakte NVIDIA tijdens Hot Chips 2026 op zijn officiële blog bekend dat de Groq 3 LPX-accelerator volledig in productie is gegaan. Het is het eerste commerciële resultaat van de overname van Groq, in december 2025 aangekondigd voor 20 miljard dollar. De chip is niet bedoeld voor training: hij is ontworpen als aanvulling op het Vera Rubin NVL72-platform en neemt de tokengeneratie (decode) voor zijn rekening, de fase van inferentie die bepaalt hoe responsief agentische toepassingen aanvoelen. Over het doel van het nieuwe silicium zei NVIDIA-topman Jensen Huang: "We're advancing the performance frontier with LPX for ultra-fast token generation. This transforms how intelligence is produced, delivering another giant leap in AI throughput, efficiency and responsiveness." (We verleggen met LPX de prestatiegrens naar ultrasnelle tokengeneratie: het verandert hoe intelligentie wordt geproduceerd, met opnieuw een grote sprong in doorvoer, efficiëntie en responsiviteit.)

Qua hardware vermelden de gepubliceerde specificaties dat elke accelerator beschikt over 500 MB SRAM met een bandbreedte van 150 TB/s. De rackconfiguratie bundelt 256 LPU-chips op de NVIDIA MGX ELT-architectuur en levert zo in totaal 128 GB SRAM met een bandbreedte van 40 PB/s, aangevuld met ondersteuning voor 12 TB DDR5-geheugen. De eerste aangekondigde klant is neocloud-aanbieder Nebius, die de accelerator gaat integreren in zijn eigen inferentieplatform Nebius Token Factory. Over de rol van de nieuwe architectuur zei Danila Shtan, chief technology officer van Nebius: "Generation is the phase of inference that determines how responsive an AI system actually is, and that's exactly what Groq 3 LPX is built to accelerate." (Generatie is de fase van inferentie die bepaalt hoe responsief een AI-systeem werkelijk is, en precies daarvoor is Groq 3 LPX gebouwd.)

NVIDIA claimt een snelheid van 3.400 outputtokens per seconde op het open model Gemma 4 31B met een context van 100.000 tokens, en noemt het systeem vier keer sneller dan het dichtstbijzijnde alternatieve platform. Volgens StorageReview registreerde Artificial Analysis die waarde als het snelste resultaat voor het model, zij het zonder onafhankelijke herhaling van de test. Toch moeten deze cijfers worden gelezen als uitspraken van een belanghebbende partij: de meting werd op 21 augustus 2026 door NVIDIA zelf uitgevoerd op een privé-endpoint vóór de release, zonder dat het vergelijkingsplatform of de methodologie bekend zijn gemaakt. Bovendien vermeldt de officiële documentatie van het bedrijf zelf dat de geprojecteerde prestaties kunnen wijzigen, terwijl prijzen, productievolumes en een datum van algemene beschikbaarheid nog niet openbaar zijn.

De focus van de hardware verleggen naar lagere latentie in de decode-fase is een architectuurkeuze die past bij waar AI-agents naartoe bewegen. Maar zolang de snelheidscijfers berusten op tests achter gesloten deuren op privé-endpoints, valt de werkelijke betekenis van deze chip pas te meten wanneer de benchmarks openbaar en reproduceerbaar worden.