Cloudflare-მა ანგარიში გამოაქვეყნა GLM-5.3 Workers AI-ის KV ქეშის გამჟღავნებისა და SGLang-ის შესწორების შესახებ

Cloudflare-მა გაავრცელა ინფორმაცია ტენანტების იზოლაციის პრობლემის შესახებ, რომელმაც მის GLM-5.3 Workers AI მოდელზე იმოქმედა; მოდელი @cf/zai-org/glm-5.3 სახელწოდებითაა მითითებული. უსაფრთხოების მკვლევარმა კომპანიას მოთხოვნებს შორის KV ქეშის გამჟღავნებაზე მიუთითა. Cloudflare-ის თქმით, პრობლემა 2026 წლის 27 აგვისტოს დაიწყო, აღმოიფხვრა და მოდელი 9 სექტემბერს აღადგინეს. კომპანიამ დაადასტურა, რომ Workers AI-ზე განთავსებულ სხვა მოდელებზე ეს არ გავრცელებულა.

რა მოხდა

გამჟღავნება ორმა ერთმანეთს გადაფარულმა ხარვეზმა გამოიწვია. GLM 5.3-ს ჰქონდა 1,048,576 ტოკენის კონტექსტის ფანჯარა, თუმცა prefill GPU-ებზე KV ქეშის პულში მხოლოდ 681,280 ტოკენი ეტევა. მეორე ხარვეზი SGLang-ის ღია კოდის ინფერენსის ძრავში იყო: ის არასწორად ამუშავებდა ზედმეტად გრძელ მოთხოვნებს დისაგრეგირებული prefill და decode რეჟიმში. პრომპტი, რომელიც პულში არ ჯდებოდა, უარყოფილად მოინიშნა და ერთი ტოკენის placeholder-ით შეიცვალა. თავად prefill-მა კი placeholder პრომპტისთვის KV ქეში შექმნა და decode კვანძზე გადაიტანა. Decode კვანძმა ივარაუდა, რომ prefill-მა ქეში სრული პრომპტით გადაწერა, თუმცა წინა მდგომარეობის დიდი ნაწილი უცვლელი დარჩა, ამიტომ პასუხის გენერირებისას მოძველებულ ქეშის გვერდებს კითხულობდა. ინციდენტმა სულ 155 პასუხი დააზიანა და ყველა მათგანი 681,280 ტოკენზე გრძელ პრომპტზე იყო პასუხი. განზრახ გამოყენების მტკიცებულება არ აღმოჩენილა.

რეაგირება და აღმოფხვრა

Cloudflare-მა 2026 წლის 8 სექტემბერს მიიღო ანგარიში უსაფრთხოების მკვლევარის, გადი ევრონისგან (Knostic). პრობლემა მეორე დილით გაიმეორა და ინციდენტის გამოცხადებიდან 40 წუთში მოდელი გამორთო. კონფიგურაციის გამოსასწორებლად GLM 5.3-ის პარამეტრები GLM 5.2-ს შეუსაბამა და გამოათავისუფლა საკმარისი GPU მეხსიერება, რომ prefill KV პულს დაახლოებით 2,04 მილიონი ტოკენი დაეტია, რაც დაახლოებით ორჯერ აღემატება 1,048,576 ტოკენის კონტექსტს. ძრავაშიც შეიტანა პატჩი: მოთხოვნა, რომლის უარყოფაც მოლოდინშია, დისაგრეგაციის მიღების რიგში თავდაპირველი შეცდომით მოიხსნება მანამ, სანამ დაიწყება bootstrap, ალოკაცია ან KV-ის გადაცემა. ცვლილებები გადაამოწმა მკვლევარის რეპროდუქციის სკრიპტსა და canary-მარკერის ტესტებზე, შემდეგ მოდელი აღადგინა.

გამოსწორებები upstream-ში და გამაგრება

Cloudflare-მა ანგარიში SGLang-ის პოსტთან ერთად გამოაქვეყნა, როგორც კოორდინირებული გამჟღავნება. პრობლემის პატჩი გამოვიდა SGLang v0.5.20-ში, შემდგომი შესწორებები კი v0.5.21-სა და v0.5.22-ში. კომპანია მკაცრად ურჩევს ოპერატორებს, SGLang-ის დამოკიდებულებები v0.5.22 ან უფრო ახალ ვერსიამდე განაახლონ. მენტენერებმა ასევე შეიტანეს ცვლილება, რომელიც ამ მოთხოვნებს უფრო ადრე უარყოფს, Cloudflare-ის მიდგომის მიხედვით. ამ ხარვეზმა მხოლოდ GLM 5.3-ზე იმოქმედა; ძრავის შესწორება და გამაგრება გამოიყენეს ყველა მოდელზე, რომელსაც SGLang-ით ემსახურება. განლაგების შემოწმებები ახლა ამ ცვლილებებს მოითხოვს ყოველი ახალი განლაგებისთვის. Cloudflare ურჩევს ოპერატორებს, ყოველ prefill და decode კვანძზე KV პულის ზომა კონტექსტის სიგრძეს შეადარონ, განაახლონ v0.5.22 ან უფრო ახალ ვერსიამდე, ორივე როლში გამოიყენონ გადავადებული KV-ის გათავისუფლება, შეზღუდონ Mooncake-ის გადაცემის პარტიები და, სადაც მხარდაჭერილია, ჩართონ დაზიანებების გამოვლენა.

წყაროები: Cloudflare