Cloudflare i utrata izolacji w pamięci podręcznej KV: przypadek modelu GLM-5.3

26 października 2026 roku Cloudflare ujawnił szczegóły incydentu bezpieczeństwa. Między 27 sierpnia a 9 września 2026 roku model GLM-5.3 w Workers AI zwracał niektórym klientom odpowiedzi zawierające dane z zapytań innych użytkowników. Incydent objął 155 odpowiedzi, wszystkie wygenerowane z promptów dłuższych niż 681 280 tokenów. Według Cloudflare żaden inny model Workers AI nie został dotknięty. Wyciek miał dwie przyczyny. Pierwszą była rozbieżność w konfiguracji między oknem kontekstu modelu (1 048 576 tokenów) a pojemnością puli pamięci podręcznej KV na GPU prefill (681 280 tokenów). Cloudflare wiedział o niej przed startem, ale nie spodziewał się, że wywoła problemy. Drugą był błąd w otwartoźródłowym silniku inferencji SGLang.

Według rekonstrukcji firmy, gdy prompt przekraczał limit pamięci podręcznej KV, SGLang w trybie zdezagregowanym oznaczał żądanie jako odrzucone i zastępował je symbolem zastępczym, ale nie przerywał przetwarzania. Kolejki przyjęć sprawdzały tylko, czy wykonanie się zakończyło, a nie, czy żądanie zostało odrzucone. Dzięki temu węzeł decode mógł sięgnąć do stron pamięci, w których wciąż były dane z wcześniejszych promptów, i wysłać klientowi kod HTTP 200 zamiast błędu. Podobny problem zgłoszono w repozytorium SGLang już 6 lipca 2026 roku w issue #30233. Ponadto, jak podaje Unite.AI na podstawie oficjalnego raportu, testy Cloudflare przed startem obejmowały kody odpowiedzi HTTP i wydajność przy długich kontekstach, ale nie poprawność ostatecznego wyniku modelu.

Incydent zgłosił 8 września 2026 roku przez HackerOne badacz bezpieczeństwa Gadi Evron z firmy Knostic. 9 września (UTC) o 13:22 Cloudflare ogłosił incydent po odtworzeniu go z dwóch różnych kont. O 14:00 model stał się prywatny, a o 14:35 ustalono przyczynę. O 19:40 model wrócił do publicznego dostępu, gdy pulę pamięci podręcznej KV dla prefill zwiększono do około 2,04 mln tokenów. To mniej więcej dwukrotność okna kontekstu, tak jak w konfiguracji GLM 5.2. Poprawka SGLang odrzuca teraz odrzucone żądania z ich pierwotnym błędem, zanim nastąpi jakikolwiek transfer KV. Zgłoszono ją upstream (#38704) i jest dostępna od SGLang v0.5.20. Publikację raportu uzgodniono z opiekunami SGLang (RadixArk). Cloudflare zaleca użytkownikom SGLang aktualizację do v0.5.22 lub nowszej oraz porównanie na każdym węźle rozmiaru puli KV z długością kontekstu. Wiele pytań pozostaje jednak otwartych. W raporcie Cloudflare twierdzi, że nie znalazł dowodów celowego wykorzystania luki („We found no evidence of deliberate exploitation”), ale to wewnętrzna ocena, której nikt z zewnątrz nie zweryfikował. Cloudflare nie podaje, ilu klientów zostało dotkniętych, mówi tylko o niewielkiej liczbie. Nie precyzuje też, jakie dokładnie dane ujawniono w 155 odpowiedziach, ani nie wyjaśnia, czy i jak poinformowano dotkniętych klientów. Raport badawczy Evrona nie został jeszcze opublikowany.

Rozdzielenie prefill i decode na osobne infrastruktury pozwala udźwignąć koszty długich kontekstów, ale przesuwa granicę bezpieczeństwa na integralność współdzielonej pamięci GPU. Gdy optymalizacja zasobów i testy wydajności wyprzedzają kontrolę poprawności wyniku, wystarczy jeden nieprzechwycony stan błędu, by wydajność zamieniła się w przypadkową utratę izolacji. — Olya