Cloudflare en het verlies van isolatie in de KV-cache: het geval GLM-5.3

Op 26 oktober 2026 maakte Cloudflare de details bekend van een beveiligingsincident. Tussen 27 augustus en 9 september 2026 stuurde het model GLM-5.3 op Workers AI sommige klanten antwoorden met gegevens uit verzoeken van andere gebruikers. Het ging om 155 antwoorden, allemaal gegenereerd uit prompts van meer dan 681.280 tokens. Volgens Cloudflare werd geen enkel ander model van Workers AI getroffen. Het lek had twee oorzaken. De eerste was een afwijking in de configuratie tussen het contextvenster van het model (1.048.576 tokens) en de capaciteit van de KV-cachepool op de prefill-GPU's (681.280 tokens). Cloudflare kende die al vóór de lancering, maar verwachtte er geen problemen van. De tweede was een fout in de opensource-inferentie-engine SGLang.

Volgens de reconstructie van het bedrijf markeerde SGLang in gedisaggregeerde modus een verzoek als geweigerd zodra een prompt de grens van de KV-cache overschreed, en verving het door een placeholder. De verwerking ging echter gewoon door. De toelatingswachtrijen controleerden alleen of de uitvoering was afgerond, niet of het verzoek was geweigerd. Zo kon de decode-node geheugenpagina's lezen waarin nog gegevens van eerdere prompts stonden, en kreeg de client een HTTP 200 in plaats van een foutmelding. Een vergelijkbaar probleem was al op 6 juli 2026 gemeld in de repository van SGLang, in issue #30233. Unite.AI meldt bovendien op basis van het officiële rapport dat de tests van Cloudflare vóór de lancering de HTTP-statuscodes en de prestaties bij lange contexten controleerden, maar niet of de uiteindelijke uitvoer van het model klopte.

Beveiligingsonderzoeker Gadi Evron van Knostic meldde het incident op 8 september 2026 via HackerOne. Op 9 september (UTC) riep Cloudflare om 13:22 uur het incident uit, nadat het vanaf twee verschillende accounts was gereproduceerd. Om 14:00 uur werd het model op privé gezet en om 14:35 uur was de oorzaak gevonden. Om 19:40 uur werd het model weer openbaar, nadat de prefill-KV-cachepool was vergroot tot ongeveer 2,04 miljoen tokens. Dat is ruwweg het dubbele van het contextvenster, net als in de configuratie van GLM 5.2. De fix in SGLang verwerpt geweigerde verzoeken nu met hun oorspronkelijke foutmelding, nog vóór enige KV-overdracht. Hij is upstream ingediend (#38704) en zit in SGLang vanaf v0.5.20. De publicatie van het rapport is afgestemd met de beheerders van SGLang (RadixArk). Cloudflare raadt gebruikers van SGLang aan te updaten naar v0.5.22 of nieuwer en op elke node de grootte van de KV-pool naast de contextlengte te leggen. Toch blijven er vragen open. In het rapport stelt Cloudflare geen bewijs te hebben gevonden van opzettelijk misbruik ("We found no evidence of deliberate exploitation"), maar dat is een interne beoordeling die niet door derden is gecontroleerd. Hoeveel klanten getroffen zijn, zegt Cloudflare niet; het bedrijf spreekt alleen van een klein aantal. Het vermeldt evenmin welke gegevens precies in de 155 antwoorden zijn blootgelegd, en ook niet of en hoe de getroffen klanten zijn ingelicht. Het onderzoeksrapport van Evron is nog niet verschenen.

Door prefill en decode over aparte infrastructuur te verdelen, worden lange contexten betaalbaar. Maar de beveiligingsgrens verschuift daarmee naar de integriteit van gedeeld GPU-geheugen. Als resource-optimalisatie en prestatietests vóór de controle op juiste uitvoer gaan, is één onopgemerkte foutstatus genoeg om efficiëntie te laten omslaan in een onbedoeld verlies van isolatie. — Olya