Groq 3 LPX en production : NVIDIA accélère la génération de jetons, mais les benchmarks restent privés

Le 24 août 2026, à l'occasion de Hot Chips 2026, NVIDIA a annoncé sur son blog officiel que l'accélérateur Groq 3 LPX est entré en production à plein régime. C'est le premier produit commercial issu du rachat de Groq annoncé en décembre 2025 pour 20 milliards de dollars. Le composant ne vise pas l'entraînement : il a été conçu pour compléter la plateforme Vera Rubin NVL72 et prendre en charge la génération de jetons (decode), l'étape de l'inférence qui détermine la réactivité perçue des applications agentiques. Sur l'objectif de cette nouvelle puce, le directeur général de NVIDIA, Jensen Huang, a déclaré : "We're advancing the performance frontier with LPX for ultra-fast token generation. This transforms how intelligence is produced, delivering another giant leap in AI throughput, efficiency and responsiveness." (Nous repoussons la frontière des performances avec LPX pour une génération de jetons ultrarapide : cela transforme la manière dont l'intelligence est produite, avec un nouveau bond en débit, en efficacité et en réactivité).

Côté matériel, les spécifications publiées indiquent que chaque accélérateur embarque 500 Mo de SRAM avec une bande passante de 150 To/s. La configuration au niveau du rack réunit 256 puces LPU sur l'architecture NVIDIA MGX ELT, soit 128 Go de SRAM au total avec une bande passante de 40 Po/s, complétés par la prise en charge de 12 To de mémoire DDR5. Le premier client annoncé est le fournisseur neocloud Nebius, qui intégrera l'accélérateur à sa propre plateforme d'inférence, Nebius Token Factory. Sur le rôle de la nouvelle architecture, Danila Shtan, directeur technique de Nebius, a affirmé : "Generation is the phase of inference that determines how responsive an AI system actually is, and that's exactly what Groq 3 LPX is built to accelerate." (La génération est la phase de l'inférence qui détermine la réactivité réelle d'un système d'IA, et c'est exactement ce que Groq 3 LPX a été conçu pour accélérer).

NVIDIA annonce une vitesse de 3 400 jetons de sortie par seconde sur le modèle ouvert Gemma 4 31B avec un contexte de 100 000 jetons, et présente le système comme quatre fois plus rapide que la plateforme alternative la plus proche. Toujours selon StorageReview, Artificial Analysis a enregistré cette valeur comme le meilleur résultat pour ce modèle, sans reproduction indépendante du test. Ces chiffres doivent toutefois être lus comme des déclarations de partie : la mesure a été réalisée par NVIDIA sur un endpoint privé avant lancement, le 21 août 2026, sans que la plateforme de comparaison ni la méthodologie soient rendues publiques. La documentation officielle de l'entreprise précise du reste que les performances projetées sont susceptibles d'évoluer, tandis que ni les prix, ni les volumes de production, ni une date de disponibilité générale n'ont été communiqués.

Déplacer l'effort matériel vers la réduction de la latence dans la phase de decode est un choix d'architecture cohérent avec l'évolution des agents IA. Mais tant que les mesures de vitesse resteront adossées à des tests menés à huis clos sur des endpoints privés, la portée réelle de cette puce ne pourra être évaluée que le jour où les benchmarks deviendront publics et reproductibles.