NVIDIA, Run:ai Platformunu DSX AI Factory Kapsamında Açık Kaynaklı Olarak Yayınladı

NVIDIA, tam NVIDIA Run:ai platformunu açık kaynaklı yazılım olarak yayınladı ve NVIDIA DSX AI Factory platformunu AI yükleri ve GPU orkestrasyonu temelinde genişletti. Bu sürümle kullanıcılar, geliştiriciler ve ekosistem ortakları, üretim düzeyinde orkestrasyon yeteneklerine erişim kazanacak ve bu da geniş ekosistemin piyasaya daha hızlı farklı AI fabrikası çözümleri sunmasına yardımcı olacak.

Dört Modüler Bileşen

KAI Scheduler, GPU farkında Kubernetes planlamasını gang scheduling, adil paylaşım ve kota dağıtımı, topoloji farkındalığı, GPU paylaşımı ve Dynamic Resource Allocation desteğiyle sağlar. NVIDIA, KAI Scheduler'ı Apache 2.0 lisansıyla yayınladı ve CNCF Sandbox projesi olarak devretti; planlamanın tüm geliştirmesi topluluk deposunda yürüyor.

GPU Fractioning Operator, Kubernetes içinde CUDA için doğal GPU fractioning sunar ve özel uygulamayı CUDA 13.4'te bulunan doğal yeteneklerle değiştirir. Operatör, pod bazında görünürlük için metrik dışa aktarıcısını içerir ve planlayıcıdan bağımsız kalır, ancak yerleşim kararları için KAI Scheduler ile entegre olur. KAI Resource Management, proje ve departman düzeyinde organizasyonel katman, kota semantiği ve heterojen kümeler için node pool'ları ekler. Workload Map, pod'ları, bileşenleri ve rolleri tanımlayan birleşik bir yönetim sözleşmesi oluşturur; böylece platformlar her bir custom resource definition'ı elle bağlamadan farklı türde yüklerin planlanmasını, izlenmesini ve yönetmesini yapabilir.

Ekosisteme Entegrasyon

NVIDIA DSX ekosisteminden sekiz ortak açık kaynaklı platformu kendi tekliflerine entegre ediyor. Crusoe, bunu Crusoe Managed Kubernetes ile birleştiriyor; Mirantis, k0rdent AI'ı bu platformla genişletiyor; Nebius ise bunu Nebius AI Cloud içinde tek tıkla dağıtım olarak sunuyor. OpenNebula Systems, OneKS üzerinden entegre ediyor; Rafay, entegrasyonunu tamamen yönetilen bir hizmete kadar genişletiyor; Saturn Cloud, Token Factory platformu üzerinden white-label inference hizmetleri başlatmak için kullanıyor. Spectro Cloud, PaletteAI içinde entegre ediyor; vCluster ise her bir tenant için tam ortam sağlayan önceden doğrulanmış dağıtım şablonları sunuyor.

Tam platform, NVIDIA DSX AI Factory GitHub organizasyonunda ve NVIDIA NGC üzerinde Community Product olarak, entegre yığını kurmak için Helm chart ile erişilebilir. Community Product için ücretli lisans veya destek hakkı gerekmez, ancak NVIDIA üretim desteği içermez. Ticari teklifler NVIDIA Mission Control, NVIDIA AI Enterprise ve seçili bulut marketleri üzerinden hala erişilebilir.

İlgili Açık Kaynak Projeler

Platform iki ilgili proje içerir. Model Streamer, model ağırlıklarını doğrudan GPU belleğine akış halinde aktararak soğuk başlatma gecikmesini azaltır ve vLLM ve SGLang ile upstream entegre olup AWS, Google Cloud ve Microsoft Azure üzerinde dokümantasyonlu destek sunar. Grove, çok bileşenli inference yüklerinin orkestrasyonu için Kubernetes API sunar, topoloji farkındalıklı otomatik ölçeklendirme ve hiyerarşik gang scheduling önerir ve NVIDIA Dynamo'nun modüler bir parçasıdır.

Kaynaklar: Nvidia Developer Blog