NVIDIA Run:ai platformasını DSX AI Factory çərçivəsə açıq kodla buraxdı

NVIDIA tam NVIDIA Run:ai platformasını açıq kod proqram təminatı kimi buraxdı və NVIDIA DSX AI Factory platforması AI yükləmələri və GPU orkestrasiyası əsasında genişləndi. Bu buraxılışla istifadəçilər, tərtibatçılar və ekosistem tərəfdaşları sənaye səviyyəli orkestrasiya imkanlarına malik olur, bu da geniş ekosistemin bazarda daha sürətlə müxtəlif AI fabrik həlləri yaratmasına kömək edir.

Dörd modul komponent

KAI Scheduler GPU nəzərə alınmağı ilə Kubernetes planlaşdırmasını gang scheduling, ədalətli pay və kvotalar paylanması, topolojiya şüuru, GPU paylaşımı və Dynamic Resource Allocation dəstəyi ilə təmin edir. NVIDIA KAI Scheduler-ı Apache 2.0 lisenziyası ilə buraxdı və CNCF Sandbox layihəsinə təhvil verdi, bütün planlaşdırma inkişafı cəmiyyət repozitoriyasında davam edir.

GPU Fractioning Operator Kubernetes-də CUDA üçün natural GPU fraksiyalaşdırması təqdim edir və öncəl proprietary implementasiyanı CUDA 13.4-də mövcud natural imkanlar ilə əvəz edir. Operator metrikaları eksportçunu pod-lər üzrə görünürlük üçün əlavə edir və planlaşdırıcıdan müstəqil qalır, lakin yerləşdirmə qərarları üçün KAI Scheduler ilə inteqrasiya olunur. KAI Resource Management layihələr, şöbələr, kvota semantikası və heteroqen klasterlər üçün node pool-larla təşkilati səviyyə əlavə edir. Workload Map yükləmə idarəetməsinə birləşilmə müqavilə təşkil edir, burada pod-lər, komponentlər və rollar təsvir olunur ki, platformalar müxtəlif növ yükləmələri planlaşa, izləyə və idarə edə bilsinlər, hər bir custom resource definition əlavə etmədən.

Ekosisteme inteqrasiya

NVIDIA DSX ekosisteminin səkkiz tərəfdaşı açıq kod platformasını öz təkliflərinə inteqrasiya edir. Crusoe onu Crusoe Managed Kubernetes ilə birləşdirir, Mirantis k0rdent AI-ni bu platforma ilə genişləndirir, Nebius isə onu Nebius AI Cloud-da bir kliklə yerləşdirmə kimi təklif edir. OpenNebula Systems OneKS vasitəsilə inteqrasiya edir, Rafay inteqrasiyasını tam idarə olunan xidmətə qədər genişləndirir, Saturn Cloud isə Token Factory platforması vasitəsilə white-label inference xidmətləri üçün istifadə edir. Spectro Cloud onu PaletteAI-ə inteqrasiya edir, vCluster isə hər bir tenant üçün tam mühit yaradan önədən təsdiqlənmiş yerləşdirmə şablonları təklif edir.

Tam platforma NVIDIA DSX AI Factory GitHub təşkilatında və NVIDIA NGC-də, kimi Community Product, inteqrasiya olunmuş steki quraşdırmaq üçün Helm chart ilə mövcuddur. Community Product üçün nəqliyyat versiyası və ya dəstək hüquqi tələb olunmur, lakin NVIDIA sənaye dəstəyi daxil deyil. Kommersiya təklifləri yenə də NVIDIA Mission Control, NVIDIA AI Enterprise və seçilmiş bulud marketplace-ləri vasitəsilə mövcuddur.

Əlaqəli açıq kod layihələri

Platformanı iki əlaqəli layihə tamamlayır. Model Streamer soyu başlatma gecikməsini model çəkilərini birbaşa GPU yaddaşa axın ötrəməklə azaldır və vLLM və SGLang-də inteqrasiya olunub, AWS, Google Cloud və Microsoft Azure-da sənədləşdirilmiş dəstəklə. Grove çoxkomponentli inference yükləmələrinin orkestrasiyası üçün Kubernetes API təqdim edir, topolojiya nəzərə alınma ilə avtomatik miqyaslaşdırma və iyerarxik gang scheduling təklif edir və NVIDIA Dynamo-nun modul hissəsidir.

Mənbələr: Nvidia Developer Blog