Cloudflare와 KV 캐시 격리 손실: GLM-5.3 사례

Cloudflare는 2026년 10월 26일 보안 사고의 세부 내용을 공개했다. 2026년 8월 27일부터 9월 9일까지 Workers AI의 GLM-5.3 모델이 일부 고객에게 다른 사용자의 요청에서 나온 데이터가 담긴 응답을 반환했다는 내용이다. 영향을 받은 응답은 155건이며, 모두 681,280 토큰을 넘는 프롬프트에서 생성됐다. Cloudflare에 따르면 Workers AI의 다른 모델은 영향을 받지 않았다. 유출의 원인은 두 가지다. 첫째는 모델의 컨텍스트 윈도(1,048,576 토큰)와 prefill GPU의 KV 캐시 풀 용량(681,280 토큰) 사이의 설정 불일치다. Cloudflare는 출시 전부터 이를 알고 있었지만 문제가 될 것으로 보지 않았다. 둘째는 오픈소스 추론 엔진 SGLang의 버그다.

회사의 설명에 따르면 프롬프트가 KV 캐시 한도를 넘으면 분리(disaggregated) 모드의 SGLang은 요청을 거부된 것으로 표시하고 플레이스홀더로 바꿨다. 하지만 처리 흐름은 멈추지 않았다. 승인 큐는 실행이 끝났는지만 확인했을 뿐 요청이 거부됐는지는 확인하지 않았다. 그 결과 decode 노드가 이전 프롬프트의 데이터가 남아 있던 메모리 페이지에 접근했고, 클라이언트에는 오류 대신 HTTP 200 코드가 전송됐다. 비슷한 문제는 이미 2026년 7월 6일 SGLang 저장소에 issue #30233으로 보고된 바 있다. 또한 공식 보고서를 인용한 Unite.AI에 따르면 Cloudflare의 출시 전 검증은 HTTP 응답 코드와 긴 컨텍스트에서의 성능을 확인했을 뿐, 모델 최종 출력의 정확성까지는 살피지 않았다.

Knostic의 보안 연구자 Gadi Evron은 2026년 9월 8일 HackerOne을 통해 이 사고를 신고했다. Cloudflare는 9월 9일(UTC) 서로 다른 두 계정에서 문제를 재현한 뒤 13시 22분에 사고를 선언했다. 14시 00분에 모델을 비공개로 돌렸고 14시 35분에 원인을 찾았다. prefill KV 캐시 풀을 약 204만 토큰으로 늘린 뒤 19시 40분에 모델을 다시 공개했다. 이는 컨텍스트 윈도의 약 두 배로, GLM 5.2의 구성과 같다. SGLang 수정본은 이제 거부된 요청을 KV 전송 전에 원래 오류와 함께 폐기한다. 이 수정은 upstream에 제안됐으며(#38704) SGLang v0.5.20부터 포함돼 있다. 보고서 공개는 SGLang 관리자(RadixArk)와 조율해 이뤄졌다. Cloudflare는 SGLang 사용자에게 v0.5.22 이상으로 업데이트하고, 모든 노드에서 KV 풀 크기와 컨텍스트 길이를 비교해 볼 것을 권고한다. 그럼에도 풀리지 않은 의문이 여럿 남는다. Cloudflare는 보고서에서 의도적인 악용의 증거를 찾지 못했다고 밝혔지만(“We found no evidence of deliberate exploitation”), 이는 제3자가 검증하지 않은 내부 평가다. Cloudflare는 영향을 받은 고객 수를 밝히지 않고 소수라고만 했다. 155건의 응답에서 어떤 데이터가 노출됐는지도 구체적으로 밝히지 않았다. 영향을 받은 고객에게 알렸는지, 알렸다면 어떻게 알렸는지도 설명하지 않았다. Evron의 연구 보고서는 아직 공개되지 않았다.

prefill과 decode를 별도 인프라로 나누면 긴 컨텍스트의 비용을 감당할 수 있다. 하지만 그만큼 보안 경계가 공유 GPU 메모리의 무결성으로 옮겨 간다. 자원 최적화와 성능 테스트가 출력 정확성 점검보다 앞설 때, 잡아내지 못한 오류 상태 하나만으로도 효율이 의도치 않은 격리 손실로 바뀔 수 있다. — Olya