Cloudflare-ը հաղորդում է GLM-5.3 Workers AI KV քեշի բացահայտման և SGLang շտկման մասին

Cloudflare-ը հաղորդել է վարձակալների մեկուսացման խնդրի մասին GLM-5.3 Workers AI մոդելում (@cf/zai-org/glm-5.3), այն բանից հետո, երբ անվտանգության հետազոտողը զգուշացրել է հարցումների միջև KV քեշի բացահայտման մասին։ Խնդիրը սկսվել է 2026 թ. օգոստոսի 27-ին, շտկվել է, իսկ մոդելը վերականգնվել է սեպտեմբերի 9-ին։ Ընկերությունը հաստատել է, որ Workers AI-ում այլ մոդել չի տուժել։

Ինչ է տեղի ունեցել

Cloudflare-ը հայտնել է, որ բացահայտումը առաջացել է երկու համընկնող խնդիրներից։ Այն տեղակայել էր GLM 5.3 մոդելը 1,048,576 թոքեն համատեքստային պատուհանով, սակայն prefill GPU-ների KV քեշի պահեստում տեղ կար միայն 681,280 թոքենի համար։ Երկրորդ խնդիրը SGLang-ի՝ Cloudflare-ի օգտագործած բաց կոդով ինֆերենսի շարժիչի մշակման մեջ էր՝ առանձնացված prefill և decode ռեժիմում գերերկար հարցումների դեպքում։ Պահեստում չտեղավորվող հուշումը նշվել էր որպես մերժված և փոխարինվել մեկ թոքենի տեղապահով, սակայն prefill-ը ստեղծել է KV քեշ տեղապահի համար և փոխանցել այն decode հանգույցին։ Decode հանգույցը ենթադրել է, որ prefill-ը KV քեշը վերագրել է ամբողջ հուշումով, մինչդեռ նախորդ վիճակի մեծ մասը մնացել էր անփոփոխ, ուստի այն պատասխան է ստեղծել՝ ուշադրություն դարձնելով հնացած քեշի էջերին։ Ընդհանուր առմամբ տուժել է 155 պատասխան՝ բոլորը 681,280 թոքենից երկար հուշումների համար։ Cloudflare-ը հայտնել է, որ դիտավորյալ շահագործման որևէ ապացույց չի գտել։

Արձագանք և շտկում

Cloudflare-ը զեկույցը ստացել է Gadi Evron-ից (Knostic) 2026 թ. սեպտեմբերի 8-ին։ Այն խնդիրը վերարտադրել է հաջորդ առավոտյան և մոդելը անջատել է միջադեպ հայտարարելուց 40 րոպեի ընթացքում։ Կարգավորումը ուղղելու համար Cloudflare-ը GLM 5.3 կարգավորումը համապատասխանեցրել է GLM 5.2 կարգավորմանը՝ ազատելով բավարար GPU հիշողություն, որպեսզի prefill KV պահեստը պահի մոտ 2.04 միլիոն թոքեն, մոտավորապես կրկնակի՝ 1,048,576 թոքեն համատեքստային երկարության համեմատ։ Այն նաև շտկել է շարժիչը, որպեսզի սպասման մեջ մերժում կրող հարցումը հանվի առանձնացման ընդունման հերթից՝ իր սկզբնական սխալով, նախքան bootstrap, հատկացում կամ KV փոխանցում։ Cloudflare-ը փոփոխությունները ստուգել է հետազոտողի վերարտադրման սկրիպտով և canary նշանների թեստերով՝ մոդելը վերականգնելուց առաջ։

Շտկումներ upstream-ում և ամրացում

Cloudflare-ը զեկույցը հրապարակել է SGLang-ի գրառման հետ միասին՝ որպես համակարգված բացահայտում։ Այն հայտնել է, որ շտկումը թողարկվել է SGLang v0.5.20 տարբերակում, հետագա թարմացումներով՝ v0.5.21 և v0.5.22, և խորհուրդ է տալիս բոլոր օպերատորներին թարմացնել SGLang կախվածությունները մինչև v0.5.22 կամ ավելի նոր տարբերակ։ SGLang-ի մշակողները նաև միավորել են փոփոխություն, որը այս հարցումները մերժում է ավելի վաղ՝ հետևելով Cloudflare-ի մոտեցմանը։ Cloudflare-ը հայտնել է, որ GLM 5.3 մոդելը այս սխալից տուժած միակ մոդելն էր, և շարժիչի շտկումն ու ամրացումը կիրառել է բոլոր մոդելների վրա, որոնք սպասարկում է SGLang-ով։ Նրա տեղակայման ստուգումներն այժմ պահանջում են այդ փոփոխությունները յուրաքանչյուր նոր տեղակայման համար։ Cloudflare-ը խորհուրդ է տալիս օպերատորներին չափել KV պահեստի չափը համատեքստային երկարության համեմատ՝ յուրաքանչյուր prefill և decode հանգույցում, թարմացնել մինչև v0.5.22 կամ ավելի նոր տարբերակ, աշխատել հետաձգված KV ազատմամբ երկու դերերում, սահմանափակել Mooncake փոխանցման խմբաքանակները և աջակցվող դեպքում միացնել վնասման հայտնաբերումը։

Աղբյուրներ՝ Cloudflare