NVIDIA-ն Run:ai հարթակը բաց կոդ է դարձրել DSX AI Factory-ի շրջանակում

NVIDIA-ն ամբողջ NVIDIA Run:ai հարթակը հրապարակել է որպես բաց կոդի ծրագրային ապահովում և ընդլայնել է NVIDIA DSX AI Factory հարթակը AI աշխատանքների և GPU օրկեստրացիայի հիմքով։ Այս թողարկմամբ օգտատերերին, մշակողներին և էկոհամակարգի գործընկերներին հասանելի են դառնում արտադրական մակարդակի օրկեստրացիայի հնարավորությունները, ինչը կօգնի լայն էկոհամակարգին ավելի արագ ներկայացնել տարբեր AI ֆաբրիկայի լուծումներ շուկայում։

Չորս մոդուլային բաղադրիչ

KAI Scheduler-ը ապահովում է GPU-ով հաշվարկվող Kubernetes պլանավորում gang scheduling-ով, արդար բաժնեմասի և քվոտաների բաշխմամբ, տոպոլոգիայի իրազեկմամբ, GPU համօգտագործմամբ և Dynamic Resource Allocation-ի աջակցությամբ։ NVIDIA-ն KAI Scheduler-ը հրապարակել է Apache 2.0 լիցենզիայով և փոխանցել CNCF-ին՝ որպես Sandbox նախագիծ, իսկ պլանավորման ամբողջ զարգացումը ընթանում է համայնքային ռեպոզիտորիայում։

GPU Fractioning Operator-ը Kubernetes-ում CUDA-ի համար բնական GPU ֆրակցիոնացում է բերում և փոխարինում է ավելի վաղ սեփականատիրական իրականացումը CUDA 13.4-ում հասանելի բնական հնարավորությամբ։ Օպերատորը ներառում է մետրիկների էքսպորտեր՝ pod-երի մակարդակի տեսանելիության համար, և մնում է անկախ պլանավորիչից, սակայն տեղաբաշխման որոշումների համար ինտեգրվում է KAI Scheduler-ի հետ։ KAI Resource Management-ը ավելացնում է կազմակերպչական շերտ՝ նախագծերով, բաժիններով, քվոտաների սեմանտիկայով և node pool-երով հետերոգեն կլաստերների համար։ Workload Map-ը սահմանում է աշխատանքների կառավարման միասնական պայմանագիր, որտեղ նկարագրված են pod-երը, բաղադրիչները և դերերը, որպեսզի հարթակները կարողանան տարբեր տեսակի աշխատանքներ պլանավորել, դիտարկել և կառավարել՝ առանց յուրաքանչյուր custom resource definition ձեռքով ներդնելու։

Ներդրում էկոհամակարգում

NVIDIA DSX էկոհամակարգի ութ գործընկեր բաց կոդի հարթակը ինտեգրում են իրենց առաջարկներում։ Crusoe-ն այն համատեղում է Crusoe Managed Kubernetes-ի հետ, Mirantis-ը k0rdent AI-ը ընդլայնում է այս հարթակով, Nebius-ը այն առաջարկում է Nebius AI Cloud-ում մեկ կտտոցով տեղաբաշխման տեսքով։ OpenNebula Systems-ը ինտեգրում է այն OneKS-ի միջոցով, Rafay-ը իր ինտեգրացիան ընդլայնում է մինչև լիովին կառավարվող ծառայություն, Saturn Cloud-ը այն օգտագործում է Token Factory հարթակի միջոցով white-label inference ծառայություններ գործարկելու համար։ Spectro Cloud-ը այն ինտեգրում է PaletteAI-ում, vCluster-ը նախապես վավերացված տեղաբաշխման շաբլոններ է առաջարկում, որոնք յուրաքանչյուր tenant-ի համար ստեղծում են լիարժեք միջավայր։

Ամբողջական հարթակը հասանելի է NVIDIA DSX AI Factory-ի GitHub կազմակերպությունում և NVIDIA NGC-ում՝ որպես Community Product, ինտեգրված ստեկի տեղադրման Helm chart-ով։ Community Product-ի համար վճարովի բաժանորդագրություն կամ աջակցության իրավունք անհրաժեշտ չէ, սակայն NVIDIA-ի արտադրական աջակցությունը չի ընդգրկվում։ Կոմերցիոն առաջարկները դեռ հասանելի են NVIDIA Mission Control-ի, NVIDIA AI Enterprise-ի և ընտրված ամպային մարկետպլեյսների միջոցով։

Կապված բաց կոդի նախագծեր

Հարթակը լրացնում են երկու կապված նախագիծ։ Model Streamer-ը նվազեցնում է սառը գործարկման ուշացումը՝ մոդելի քաշերը ուղղակիորեն հոսքով փոխանցելով GPU հիշողություն, և ինտեգրված է upstream-ում vLLM-ում ու SGLang-ում, փաստաթղթավորված աջակցությամբ AWS-ում, Google Cloud-ում և Microsoft Azure-ում։ Grove-ը Kubernetes API է տրամադրում բազմաբաղադրիչ inference աշխատանքների օրկեստրացիայի համար, առաջարկում է տոպոլոգիական դիրքորոշումով ավտոմասշտաբավորում և հիրարխիկ gang scheduling, և NVIDIA Dynamo-ի մոդուլային մասն է։

Աղբյուրներ: Nvidia Developer Blog