NVIDIA-ն ներկայացրել է NodeWright-ը՝ Kubernetes-ի համար փաթեթների բնիկ կառավարիչ

NVIDIA-ն ներկայացրել է NodeWright-ը՝ Kubernetes-ի բնիկ փաթեթների կառավարիչ, որը GPU կլաստերների հանգույցների հոսթ օպերացիոն համակարգերը դեկլարատիվ ձևով կարգավորում ու թարմացնում է՝ չընդհատելով ընթացիկ աշխատանքները: Գործիքն արդեն աշխատում է NVIDIA-ի արտադրությունում Skyhook անվամբ և DSX OS-ի մասն է:

Սկրիպտներից՝ հանգույցների դեկլարատիվ կառավարմանը

Թիմերը հանգույցները սովորաբար կառավարում են Ansible-ի playbook-ներով ու ձեռքի հրահանգներով։ Այս մոտեցումը կոտրվում է, երբ միջուկի թարմացումը անջատում է RDMA-ն, կամ երբ CVE-ն պետք է ուղղել հարյուրավոր մեքենաների վրա։ GPU ապարատը սակավ է, իսկ երկար ուսուցման աշխատանքները հնարավոր չէ տեղափոխել, ուստի իրական խնդիրը ամբողջ ֆլոտը փոխելն է՝ առանց ուսուցումը կանգնեցնելու։

Ինչպես է աշխատում NodeWright-ը

Փաթեթները Kubernetes-ի Custom Resource-ներ են, ուստի տեղադրվում են kubectl-ով, Helm-ով կամ Argo CD-ով։ Օպերատորը յուրաքանչյուր թիրախ հանգույցում կատարում է ֆիքսված հաջորդականություն՝ cordon, սպասում չընդհատվող pod-երին, drain մնացածի համար, փաթեթի կիրառում և կարգավորում, ապա uncordon՝ ծառայության կամ հանգույցի վերագործարկումով ըստ անհրաժեշտության։

Փաթեթները կարող են կարգավորել sysctl-ի և GRUB-ի պարամետրերը, տեղադրել անվտանգության գործակալներ և ուղղել CVE-ներ։ NodeWright-ը հետևում է ամեն փաթեթի տարբերակին և կատարման հերթականությունը որոշում է հայտարարված կախվածություններով. CVE-ի փաթեթը կարող է հայտնաբերել դեռ բեռնված խոցելի միջուկի մոդուլ և իրեն ձախողված նշել։

Անվտանգ տարածում մեծ մասշտաբով

DeploymentPolicy ռեսուրսը սահմանում է կոմպարտմենտներ՝ պիտակներով ընտրված հանգույցների խմբեր, որոնցից յուրաքանչյուրն ունի իր բյուջեն ու ռազմավարությունը՝ ֆիքսված չափի խմբեր, գծային աճ (1, 2, 3…) և էքսպոնենցիալ աճ (1, 2, 4, 8…)։ Խմբի շեմը սահմանում է առաջխաղացման անհրաժեշտ հաջողության տոկոսը, իսկ ձախողման շեմը կանգնեցնում է կոմպարտմենտը կրկնվող ձախողումներից հետո։

Եթե ինչ-որ բան սխալ ընթանա, թարմացումը կանգ է առնում, այլ ոչ թե տարածվում. սխալները երևում են կարգավիճակում, ձախողված Job-երը նշվում են, իսկ հանգույցները պիտակ են ստանում։ Նոր հանգույցներից կարելի է պահանջել միանալ taint-ով, որը հանվում է միայն փաթեթներն ու ստուգումներն անցնելուց հետո։

Էկոհամակարգ և հասանելիություն

NodeWright-ը ինտեգրվում է NVIDIA AI Cluster Runtime-ի (AICR) հետ, որը ստուգված կոնֆիգուրացիաների բաղադրատոմսերը հրապարակում է Helm-ի, Argo CD-ի կամ Flux-ի համար պատրաստ փաթեթներով, և աշխատում է NVCRE-ի ու NVSentinel-ի կողքին։ Apache 2.0 լիցենզիայով այն տեղադրվում է Helm-ով՝ OCI արտեֆակտից. tuning փաթեթները ընդգրկում են Hopper-ի ու Blackwell-ի GPU-ները, Google Kubernetes Engine-ի հանգույցներն ու EFA դրայվերներով Amazon EKS կլաստերները։