Cloudflare і втрата ізоляції в KV-кеші: випадок моделі GLM-5.3

26 жовтня 2026 року Cloudflare оприлюднила подробиці інциденту безпеки. З 27 серпня по 9 вересня 2026 року модель GLM-5.3 у Workers AI повертала деяким клієнтам відповіді з даними із запитів інших користувачів. Інцидент зачепив 155 відповідей, усі вони були згенеровані з промптів довших за 681 280 токенів. За словами Cloudflare, інші моделі Workers AI не постраждали. Витік мав дві причини. Перша — розбіжність у конфігурації між контекстним вікном моделі (1 048 576 токенів) і місткістю пулу KV-кешу на GPU для prefill (681 280 токенів). Cloudflare знала про неї ще до запуску, але не очікувала, що вона спричинить проблеми. Друга — помилка у відкритому рушії інференсу SGLang.

За реконструкцією компанії, коли промпт перевищував ліміт KV-кешу, SGLang у дезагрегованому режимі позначав запит як відхилений і підміняв його заглушкою, але обробку не зупиняв. Черги допуску перевіряли лише, чи завершилося виконання, а не те, чи запит відхилено. Через це вузол decode отримував доступ до сторінок пам'яті, де ще лишалися дані попередніх промптів, і надсилав клієнтові код HTTP 200 замість помилки. Схожу проблему описали в репозиторії SGLang ще 6 липня 2026 року, в issue #30233. Крім того, як повідомляє Unite.AI з посиланням на офіційний звіт, перевірки Cloudflare перед запуском стосувалися кодів відповіді HTTP і продуктивності на довгих контекстах, але не коректності кінцевого виводу моделі.

Про інцидент 8 вересня 2026 року через HackerOne повідомив дослідник безпеки Гаді Еврон (Gadi Evron) з компанії Knostic. 9 вересня (UTC) о 13:22 Cloudflare оголосила інцидент, відтворивши його з двох різних акаунтів. О 14:00 модель зробили приватною, о 14:35 знайшли причину. О 19:40 модель знову стала публічною, після того як пул KV-кешу для prefill збільшили приблизно до 2,04 млн токенів. Це приблизно вдвічі більше за контекстне вікно, як і в конфігурації GLM 5.2. Виправлення в SGLang тепер відкидає відхилені запити з їхньою початковою помилкою ще до будь-якої передачі KV. Його запропонували в upstream (#38704), і воно є в SGLang починаючи з v0.5.20. Публікацію звіту узгодили з мейнтейнерами SGLang (RadixArk). Cloudflare радить користувачам SGLang оновитися до v0.5.22 або новішої та на кожному вузлі звірити розмір пулу KV із довжиною контексту. Проте низка питань лишається відкритою. У звіті Cloudflare стверджує, що не знайшла доказів навмисного використання вразливості («We found no evidence of deliberate exploitation»), але це внутрішня оцінка, яку треті сторони не перевіряли. Скільки клієнтів постраждало, Cloudflare не називає і говорить лише про невелику кількість. Компанія також не уточнює, які саме дані опинилися в 155 відповідях, і не пояснює, чи повідомили постраждалих клієнтів і як саме. Дослідницький звіт Еврона ще не опубліковано.

Розділення prefill і decode на окремі інфраструктури дає змогу витримати вартість довгих контекстів, але переносить межу безпеки на цілісність спільної пам'яті GPU. Коли оптимізація ресурсів і тести продуктивності йдуть раніше за перевірку коректності виводу, достатньо одного неперехопленого стану помилки, щоб ефективність обернулася випадковою втратою ізоляції. — Olya