NVIDIA відкрила вихідний код Run:ai у складі DSX AI Factory

NVIDIA опублікувала повну платформу NVIDIA Run:ai як програмне забезпечення з відкритим кодом і розширила NVIDIA DSX AI Factory на основі оркестрації ШІ-навантажень та GPU. У цьому випуску користувачам, розробникам і партнерам екосистеми надається доступ до можливостей оркестрації виробничого рівня, що допоможе широкій екосистемі швидше вивести на ринок різні рішення AI-фабрик.

Чотири модульні компоненти

KAI Scheduler забезпечує планування Kubernetes з урахуванням GPU, зокрема gang scheduling, розподіл справедливих часток і квот, урахування топології, спільне використання GPU та підтримку Dynamic Resource Allocation. NVIDIA опублікувала KAI Scheduler за ліцензією Apache 2.0 і передала CNCF як проєкт Sandbox, а вся розробка планувальника ведеться в репозиторії спільноти.

GPU Fractioning Operator додає до Kubernetes природне фракціонування GPU для CUDA і замінює ранішу пропрієтарну реалізацію природною можливістю CUDA 13.4. Оператор містить експортер метрик для видимості на рівні pod-ів, залишається незалежним від планувальника, але інтегрується з KAI Scheduler для рішень розміщення. KAI Resource Management додає організаційний шар з проєктами, відділами, семантикою квот і node pool для гетерогенних кластерів. Workload Map формує єдиний контракт керування навантаженнями, де описано pod-и, компоненти і ролі, щоб платформи могли планувати, спостерігати та керувати різними типами навантажень без ручного вбудовування кожного custom resource definition.

Впровадження в екосистемі

Вісім партнерів екосистеми NVIDIA DSX інтегрують відкриту платформу у власні пропозиції. Crusoe поєднує її з Crusoe Managed Kubernetes, Mirantis розширює k0rdent AI за допомогою цієї платформи, а Nebius пропонує її в Nebius AI Cloud як розгортання одним кліком. OpenNebula Systems інтегрує її через OneKS, Rafay розширює власну інтеграцію до повністю керованого сервісу, а Saturn Cloud використовує її через Token Factory для запуску white-label inference-сервісів. Spectro Cloud інтегрує її в PaletteAI, а vCluster пропонує попередньо валідовані шаблони розгортання, які створюють повне середовище для кожного tenant-а.

Повна платформа доступна в організації NVIDIA DSX AI Factory на GitHub і на NVIDIA NGC як Community Product з Helm chart для встановлення інтегрованого стека. Для Community Product не потрібна платна підписка або права підтримки, проте виробнича підтримка NVIDIA не входить. Комерційні пропозиції залишаються доступними через NVIDIA Mission Control, NVIDIA AI Enterprise та вибрані хмарні маркетплейси.

Пов’язані проєкти з відкритим кодом

Два пов’язані проєкти доповнюють платформу. Model Streamer зменшує затримку холодного запуску, передаючи ваги моделі безпосередньо в пам'ять GPU потоком, і інтегрований upstream у vLLM та SGLang з задокументованою підтримкою AWS, Google Cloud і Microsoft Azure. Grove надає API Kubernetes для оркестрації багатокомпонентних inference-навантажень, пропонує автоматичне масштабування з урахуванням топології та ієрархічний gang scheduling, а також є модульною частиною NVIDIA Dynamo.

Джерела: Nvidia Developer Blog