Cloudflare, GLM-5.3 Workers AI KV keşinin açıqlanması və SGLang düzəlişi barədə hesabat verdi

Cloudflare, təhlükəsizlik tədqiqatçısının sorğular arası KV keşinin açıqlanması barədə xəbərdarlıq etməsindən sonra, Workers AI modeli @cf/zai-org/glm-5.3 kimi göstərilən GLM-5.3 üçün icarəçi izolyasiyası məsələsini bildirib. Cloudflare məsələnin 27 avqust 2026-cı ildə başladığını, düzəldildiyini və modelin 9 sentyabr 2026-cı ildə bərpa olunduğunu deyib. Şirkət Workers AI-da yerləşdirilən başqa heç bir modelin təsirlənmədiyini təsdiqləyib.

Nə baş verib

Cloudflare deyib ki, açıqlanma iki üst-üstə düşən məsələdən yaranıb. O, GLM 5.3-ü 1,048,576 tokenlik kontekst pəncərəsi ilə yerləşdirib, lakin prefill GPU-larındakı KV keş hovuzunda yalnız 681,280 tokenlik yer olub. İkinci məsələ Cloudflare-in istifadə etdiyi açıq mənbəli inferens mühərriki SGLang-in disaggregasiya olunmuş prefill və decode rejimində çox uzun sorğuları necə idarə etməsində olub. Hovuza sığmayan prompt rədd edilmiş kimi işarələnib və bir tokenlik yer tutucu ilə əvəz olunub, lakin prefill yer tutucu üçün KV keşini yaradıb və onu decode node-a köçürüb. Decode qovşağı prefill-in KV keşini tam promptla əvəz etdiyini güman edib; halbuki əvvəlki vəziyyətin böyük hissəsi toxunulmamış qalmışdı, buna görə də o, köhnə keş səhifələrini oxuyaraq cavab yaradıb. Ümumilikdə 155 cavab təsirlənib, hamısı 681,280 tokendən uzun promptlara verilən cavablar olub. Cloudflare qəsdli istismar əlaməti tapmadığını deyib.

Cavab və aradan qaldırma

Cloudflare-ə görə, o, 8 sentyabr 2026-cı ildə Knostic-dən Gadi Evronun hesabatını alıb. Cloudflare məsələni növbəti səhər təkrar yaradıb və insident elan etdikdən 40 dəqiqə ərzində modeli oflayn edib. Konfiqurasiyanı düzəltmək üçün Cloudflare GLM 5.3 quraşdırmasını GLM 5.2 konfiqurasiyasına uyğunlaşdırıb, bu da prefill KV hovuzuna təxminən 2.04 milyon token, yəni 1,048,576 tokenlik kontekst uzunluğunun təxminən iki qatı yer saxlamaq üçün kifayət qədər GPU yaddaşı azad edib. O həmçinin mühərriki elə yamaqlayıb ki, gözləyən rədd daşıyan sorğu disaggregasiya qəbul növbəsində, bootstrap, yer ayırma və ya KV köçürülməsi başlamazdan əvvəl, öz orijinal xətası ilə növbədən çıxarılsın. Cloudflare dəyişiklikləri tədqiqatçının təkrar yaradılma skriptinə və öz canary marker testlərinə qarşı yoxlayıb, sonra modeli bərpa edib.

Upstream düzəlişləri və möhkəmləndirmə

Cloudflare hesabatı SGLang postu ilə birgə açıqlama kimi dərc edib. O deyib ki, məsələ üçün yamaq SGLang v0.5.20-də çıxıb, v0.5.21 və v0.5.22-də isə davam edən düzəlişlər olub, və bütün operatorlara SGLang asılılıqlarını v0.5.22 və ya daha yeni versiyaya yeniləməyi qətiyyətlə tövsiyə edir. SGLang baxıcıları həmçinin Cloudflare yanaşmasına uyğun olaraq bu sorğuları daha erkən rədd edən dəyişikliyi birləşdirib. Cloudflare deyib ki, GLM 5.3 bu xətadan təsirlənən yeganə model olub və o, mühərrik düzəlişini və möhkəmləndirməni SGLang ilə işlətdiyi hər modelə tətbiq edib. Onun yerləşdirmə yoxlamaları indi hər yeni yerləşdirmə üçün bu dəyişiklikləri tələb edir. Cloudflare operatorlara hər prefill və decode node-da KV hovuzu ölçüsünü kontekst uzunluğuna qarşı ölçməyi, v0.5.22 və ya daha yeni versiyaya yüksəlməyi, hər iki rolda ertələnmiş KV buraxılışı ilə işləməyi, Mooncake ötürmə dəstələrini məhdudlaşdırmağı və dəstəklənən yerlərdə zədələnmə aşkarlanmasını aktivləşdirməyi tövsiyə edir.

Mənbələr: Cloudflare