Cloudflare, GLM-5.3 Workers AI KV önbelleği açığını ve SGLang düzeltmesini bildirdi

Cloudflare, bir güvenlik araştırmacısının istekler arası KV önbelleği açığa çıkmasını şirkete bildirmesinin ardından, @cf/zai-org/glm-5.3 olarak listelenen GLM-5.3 Workers AI modelini etkileyen bir kiracı izolasyonu sorunu bildirdi. Cloudflare, sorunun 27 Ağustos 2026'da başladığını, giderildiğini ve modelin 9 Eylül'de geri yüklendiğini söyledi. Şirket, Workers AI üzerinde barındırılan başka hiçbir modelin etkilenmediğini doğruladı.

Ne oldu

Cloudflare, açığa çıkmanın iki örtüşen sorundan kaynaklandığını söyledi. Şirket, GLM 5.3'ü 1.048.576 token bağlam penceresiyle devreye almıştı, ancak prefill GPU'larındaki KV önbellek havuzunda yalnızca 681.280 tokenlık yer vardı. İkinci sorun, Cloudflare'ın kullandığı açık kaynak çıkarım motoru SGLang'in ayrık prefill ve decode modunda aşırı uzun istekleri nasıl işlediğiyle ilgiliydi. Havuza sığmayan bir istem, reddedilmiş olarak işaretlendi ve tek token'lık bir yer tutucuyla değiştirildi; ancak prefill, yer tutucu için KV önbelleğini oluşturdu ve bunu decode düğümüne aktardı. Decode düğümü, prefill'in KV önbelleğini tam istemle üzerine yazdığını varsaydı; oysa önceki durumun büyük bölümü olduğu gibi kalmıştı, bu yüzden eski önbellek sayfalarına dayanarak bir yanıt oluşturdu. Toplamda 155 yanıt etkilendi; bunların tümü 681.280 tokenden uzun istemlere yönelikti. Cloudflare, kasıtlı istismara dair kanıt bulunmadığını söyledi.

Yanıt ve giderim

Cloudflare'a göre şirket, 8 Eylül 2026'da Knostic'ten Gadi Evron'un raporunu aldı. Cloudflare sorunu ertesi sabah yeniden oluşturdu ve bir olay ilan etmesinden 40 dakika içinde modeli çevrimdışı aldı. Yapılandırmayı düzeltmek için Cloudflare, GLM 5.3 kurulumunu GLM 5.2 yapılandırmasıyla eşleşecek şekilde ayarladı; bu, prefill KV havuzunun yaklaşık 2,04 milyon token tutabilmesi için yeterli GPU belleği boşalttı, yani 1.048.576 token bağlam uzunluğunun kabaca iki katı. Şirket ayrıca motoru, bekleyen bir red taşıyan isteğin ayrıklaştırma kabul kuyruğunda, bootstrap, tahsis veya KV aktarımı gerçekleşmeden önce özgün hatasıyla birlikte sonlandırıldığı şekilde yamaladı. Cloudflare, modeli geri yüklemeden önce değişiklikleri araştırmacının yeniden oluşturma betiği ve kendi canary işaretleyici testleriyle doğruladı.

Upstream düzeltmeler ve sertleştirme

Cloudflare, raporu SGLang'ın bir yazısıyla birlikte koordineli bir açıklama olarak yayımladı. Sorun için yamanın SGLang v0.5.20'de yayımlandığını, v0.5.21 ve v0.5.22'de takip güncellemeleri olduğunu söyledi ve tüm operatörlerin SGLang bağımlılıklarını v0.5.22 veya daha yeni sürüme güncellemesini önemle tavsiye etti. Bakımcılar ayrıca bu istekleri Cloudflare yaklaşımını izleyerek daha erken reddeden bir değişiklik birleştirdi. Cloudflare, bu hatadan etkilenen tek modelin GLM 5.3 olduğunu söyledi ve SGLang ile sunduğu her modele motor düzeltmesini ve sertleştirme önlemlerini uyguladığını belirtti. Dağıtım kontrolleri artık her yeni dağıtım için bu değişiklikleri zorunlu kılıyor. Cloudflare, operatörlere her prefill ve decode düğümünde KV havuzu boyutunu bağlam uzunluğuna göre ölçmeyi, v0.5.22 veya daha yeni sürüme yükseltmeyi, her iki rolde ertelenmiş KV serbest bırakma ile çalıştırmayı, Mooncake aktarım gruplarını sınırlamayı ve desteklendiği yerlerde bozulma algılamayı etkinleştirmeyi tavsiye ediyor.

Kaynaklar: Cloudflare