NVIDIA-მ Run:ai პლატფორმა ღია კოდად გამოუშვა DSX AI Factory-ის ფარგლებში

NVIDIA-მ სრული NVIDIA Run:ai პლატფორმა ღია კოდის პროგრამულ უზრუნველყოფად გამოაქვეყნა და NVIDIA DSX AI Factory პლატფორმა AI დატვირთვებისა და GPU-ის ორკესტრაციის საფუძვლით გააფართოვა. ამ გამოშვებით მომხმარებლებს, დეველოპერებსა და ეკოსისტემის პარტნიორებს წვდომა ეძლევათ საწარმოო დონის ორკესტრაციის შესაძლებლობებზე, რაც ფართო ეკოსისტემას დაეხმარება, ბაზარზე უფრო სწრაფად წარადგინოს განსხვავებული AI ფაბრიკის გადაწყვეტები.

ოთხი მოდულური კომპონენტი

KAI Scheduler-ი უზრუნველყოფს GPU-ის გათვალისწინებით Kubernetes-ის დაგეგმვას gang scheduling-ით, სამართლიანი წილისა და კვოტების განაწილებით, ტოპოლოგიის გაცნობიერებით, GPU-ის გაზიარებით და Dynamic Resource Allocation-ის მხარდაჭერით. NVIDIA-მ KAI Scheduler-ი Apache 2.0 ლიცენზიით გამოაქვეყნა და CNCF-ს Sandbox პროექტად გადასცა, ხოლო დაგეგმვის მთელი განვითარება საზოგადოების რეპოზიტორიაში მიმდინარეობს.

GPU Fractioning Operator-ი Kubernetes-ში CUDA-სთვის ბუნებრივ GPU ფრაქციონირებას შემოაქვს და ადრინდელ პროპრიეტარულ იმპლემენტაციას CUDA 13.4-ში ხელმისაწვდომი ბუნებრივი შესაძლებლობით ცვლის. ოპერატორი მოიცავს მეტრიკების ექსპორტიორს pod-ების მიხედვით ხილვადობისთვის და რჩება დამგეგმავისგან დამოუკიდებელი, თუმცა განთავსების გადაწყვეტილებებისთვის KAI Scheduler-თან ინტეგრირდება. KAI Resource Management-ი ორგანიზაციულ ფენას ამატებს პროექტებით, დეპარტამენტებით, კვოტების სემანტიკით და ჰეტეროგენული კლასტერებისთვის node pool-ებით. Workload Map-ი აყალიბებს დატვირთვების მართვის ერთიან კონტრაქტს, სადაც აღწერილია pod-ები, კომპონენტები და როლები, რათა პლატფორმებმა შეძლონ სხვადასხვა ტიპის დატვირთვის დაგეგმვა, დაკვირვება და მართვა თითოეული custom resource definition-ის ხელით ჩაშენების გარეშე.

ეკოსისტემაში დანერგვა

NVIDIA DSX ეკოსისტემის რვა პარტნიორი ღია კოდის პლატფორმას საკუთარ შეთავაზებებში ინტეგრირებს. Crusoe-მ ის Crusoe Managed Kubernetes-თან აერთიანებს, Mirantis-ი k0rdent AI-ს ამ პლატფორმით აფართოებს, Nebius-ი კი მას Nebius AI Cloud-ში ერთი დაწკაპუნებით განთავსების სახით სთავაზობს. OpenNebula Systems-ი მას OneKS-ის მეშვეობით ინტეგრირებს, Rafay-ი თავის ინტეგრაციას სრულად მართულ სერვისამდე აფართოებს, Saturn Cloud-ი კი მას Token Factory პლატფორმის მეშვეობით white-label inference სერვისების გაშვებისთვის იყენებს. Spectro Cloud-ი მას PaletteAI-ში ინტეგრირებს, vCluster-ი კი წინასწარ ვალიდირებულ განთავსების შაბლონებს გვთავაზობს, რომლებიც თითოეული tenant-ისთვის სრულ გარემოს ქმნის.

სრული პლატფორმა ხელმისაწვდომია NVIDIA DSX AI Factory-ის GitHub ორგანიზაციაში და NVIDIA NGC-ზე, როგორც Community Product, ინტეგრირებული სტეკის დასაყენებელი Helm chart-ით. Community Product-ისთვის ფასიანი გამოწერა ან მხარდაჭერის უფლება საჭირო არ არის, თუმცა NVIDIA-ს საწარმოო მხარდაჭერა არ შედის. კომერციული შეთავაზებები კვლავ ხელმისაწვდომია NVIDIA Mission Control-ის, NVIDIA AI Enterprise-ის და შერჩეული ღრუბლოვანი მარკეტპლეისების მეშვეობით.

დაკავშირებული ღია კოდის პროექტები

პლატფორმას ორი დაკავშირებული პროექტი ავსებს. Model Streamer-ი ამცირებს ცივი გაშვების დაყოვნებას მოდელის წონების უშუალოდ GPU-ის მეხსიერებაში ნაკადად გადაცემით და upstream-ში ინტეგრირებულია vLLM-სა და SGLang-ში, დოკუმენტირებული მხარდაჭერით AWS-ზე, Google Cloud-სა და Microsoft Azure-ზე. Grove-ი Kubernetes API-ს გვაწვდის მრავალკომპონენტიანი inference დატვირთვების ორკესტრაციისთვის, გვთავაზობს ტოპოლოგიის გათვალისწინებით ავტომასშტაბირებას და იერარქიულ gang scheduling-ს, და NVIDIA Dynamo-ს მოდულური ნაწილია.

წყაროები: Nvidia Developer Blog