DeepSeek-ը հրապարակել է DSec-ի զեկույցը՝ սենդբոքսային հարթակ AI-գործակալների ուսուցման համար

DeepSeek-ը սեպտեմբերի 19-ին arXiv-ում հրապարակել է տեխնիկական զեկույց DeepSeek Elastic Compute (DSec) հարթակի մասին։ Խոսքը ոչ թե առանձին սենդբոքսի, այլ արտադրական համակարգի մասին է. RL-ի ընթացքում մոդելը մեկուսացված միջավայրերում գործարկում է հրամաններ, կարդում ֆայլեր և կանչում գործիքներ։

Զեկույցի համաձայն՝ մեկ արտադրական միավորն ընդգրկում է գրեթե 160 CPU հանգույց, 30 000 միջուկ և մոտ 250 տերաբայթ DRAM։ Սովորական օրում այն սպասարկում է շուրջ 3 միլիոն սենդբոքս, միաժամանակյա գագաթնակետը հասնում է 380 000-ի, իսկ ստեղծման արագությունը գերազանցում է վայրկյանում 5 000 սենդբոքսը։

Մեկ SDK և չորս տեսակի սենդբոքս

DSec-ը libdsec Python-հաճախորդի միջոցով առաջարկում է չորս բեքենդ՝ FnCall՝ կարճ առաջադրանքների համար, կոնտեյներներ՝ ծրագրային ինժեներիայի և գործիքների համար, Firecracker-ի microVM՝ ամուր մեկուսացման համար, և ամբողջական վիրտուալ մեքենաներ, երբ անհրաժեշտ է ամբողջ օպերացիոն համակարգ, օրինակ՝ Android։ Սենդբոքսի մեկ աբստրակցիան չի ծածկում բոլոր գործակալային առաջադրանքները։

Յուրաքանչյուր միջավայր հավաքվում է անկախ վերսիոնավորվող շերտերից՝ բազային իմիջից, առաջադրանքի ռեպոզիտորիան պարունակող աշխատանքային տարածքից և հաճախ թարմացվող toolkit-ներից, որոնք միավորվում են overlayfs-ով, այլ ոչ թե միաձուլվում մեկ մոնոլիտ իմիջի մեջ։ Մեկ արտադրական շաբաթվա ընթացքում հարթակը սպասարկել է 11 000-ից ավելի բազային իմիջ և 102 000-ից ավելի աշխատանքային տարածք։

Խտություն, հիշողություն և 3FS

Գործակալի սենդբոքսը պահում է վիճակը և մեծ մասամբ պարապ է՝ կոնտեյներների ու microVM-ների շուրջ 90%-ը օգտագործում է հայցված CPU-ի միայն 5%-ը կամ ավելի քիչ։ Այդ պատճառով DSec-ը մեկ հանգույցում լցնում է մինչև 3 200 կոնտեյներ կամ 800 microVM, իսկ virtio-pmem-ն ու DAMON-ը իջեցնում են հիշողության գագաթնակետը 40,2%-ով և ինտեգրված սպառումը՝ 21,2%-ով։ SCHED_IDLE-ը core scheduling-ի հետ միասին SMT-ի պատճառով դանդաղումը 45,2%-ից իջեցնում է 17,3%։

Իմիջների տվյալները ըստ պահանջի բեռնվում են DeepSeek-ի 3FS ֆայլային համակարգից, EROFS-ի մետատվյալները՝ լոկալ։ 8 192 կոնտեյների պոռթկման դեպքում իմիջների նախապես ամբողջությամբ ներբեռնումը 1,71 անգամ երկարացրել է կատարման ժամանակը և գրել շուրջ 57%-ով ավելի տվյալ. սենդբոքսերը դիմում են իմիջի պարունակության միայն 4-13%-ին։

Համատեղ նախագծում RL-ի շրջանակի հետ

DSec-ը ստեղծվել է DeepSeek-ի RL-շրջանակի հետ համատեղ։ GPU-ով ուսուցման առաջադրանքները հաճախ ընդհատվում են, ուստի rollout-ի կատարումն ամբողջությամբ տեղափոխվել է DSec՝ ուսուցման GPU-ավազանից դուրս. դադարի հարցումը հարթակին թույլ է տալիս ազատել հիշողությունը՝ պահպանելով սենդբոքսի վիճակը։ Զեկույցը նկարագրում է նաև գործակալների անցանկալի վարքը և դրա մեղմացման միջոցները՝ AppArmor-ի մուտքի վերահսկումը և eBPF-ի ցանցային allowlist-ները։ Պահոցի բաղադրիչները՝ OverlayBD-ն և ublk գրադարանը, բաց կոդով հրապարակվել են։