NVIDIA, NodeWright'ı tanıttı: Kubernetes düğümleri için açık kaynak paket yöneticisi

NVIDIA, GPU kümelerindeki düğümlerin ana işletim sistemlerini iş yüklerini kesintiye uğratmadan bildirimsel olarak yapılandırıp güncelleyen açık kaynaklı NodeWright'ı tanıttı. Araç, NVIDIA üretiminde Skyhook adıyla çalışıyordu ve DSX OS'in bir parçası.

Betiklerden bildirimsel düğüm yönetimine

Ekipler düğümleri genellikle Ansible playbook'ları ve elle tutulan talimatlarla yönetiyor. Bu yaklaşım, bir çekirdek güncellemesi RDMA'yı devre dışı bıraktığında ya da yüzlerce makinede bir CVE düzeltilmesi gerektiğinde çöküyor. GPU donanımı kıt ve uzun eğitim işleri yeniden planlanamıyor; asıl görev, tüm filoyu eğitimi kesmeden değiştirmek.

NodeWright nasıl çalışır

Paketler Kubernetes Custom Resource'larıdır; kubectl, Helm veya Argo CD ile dağıtılır. Operatör her hedef düğümde sabit bir sıra izler: cordon, kesilemez pod'ların bitmesini bekleme, kalanları drain etme, paketi uygulama ve yapılandırma, ardından uncordon — servis ya da düğüm yalnızca gerektiğinde yeniden başlatılır.

Paketler sysctl ve GRUB parametrelerini ayarlayabilir, güvenlik ajanları kurabilir ve CVE'leri giderebilir. NodeWright her paketin sürümünü her düğümde izler ve yürütme sırasını bildirilen bağımlılıklara göre belirler; bir CVE paketi, hâlâ yüklü savunmasız bir çekirdek modülü tespit edip kendini başarısız işaretleyebilir.

Ölçekte güvenli dağıtım

DeploymentPolicy kaynağı kompartımanları tanımlar: etiketlerle seçilen, her biri kendi kesinti bütçesine ve stratejisine sahip düğüm grupları. Üç strateji var: sabit parti boyutları, doğrusal büyüme (1, 2, 3…) ve üstel büyüme (1, 2, 4, 8…). Parti eşiği ilerlemek için gereken başarı oranını belirler; başarısızlık eşiği ise tekrarlanan hatalardan sonra kompartımanı durdurabilir.

Bir sorun çıkarsa güncelleme yayılmak yerine durur: hatalar durumda görünür, başarısız Job'lar işaretlenir ve düğümler inceleme için etiket alır. Yeni düğümlerin kümeye yalnızca tüm paketler ve kontroller geçtikten sonra kaldırılan bir taint ile katılması istenebilir.

Ekosistem ve kullanılabilirlik

NodeWright, doğrulanmış yapılandırmaların tariflerini Helm, Argo CD veya Flux için hazır paketler olarak yayımlayan NVIDIA AI Cluster Runtime (AICR) ile entegre olur ve NVCRE ile NVSentinel'in yanında çalışır. Apache 2.0 lisanslı araç, Helm ile bir OCI artefaktından kurulur; ayar paketleri Hopper ve Blackwell GPU'ları, Google Kubernetes Engine düğümlerini ve EFA sürücülü Amazon EKS kümelerini kapsıyor.