NVIDIA представила NodeWright — відкритий менеджер пакетів для вузлів Kubernetes

NVIDIA представила NodeWright — відкритий менеджер пакетів, вбудований у Kubernetes, який декларативно налаштовує та оновлює хост-системи вузлів GPU-кластерів, не перериваючи робочі навантаження. Інструмент уже працює в продакшені NVIDIA під назвою Skyhook і є частиною DSX OS.

Від скриптів до декларативного керування вузлами

Команди зазвичай керують вузлами за допомогою Ansible-плейбуків, власних скриптів і ручних інструкцій. Такий підхід ламається, коли оновлення ядра вимикає RDMA або CVE потрібно виправити на сотнях машин. GPU-обладнання дефіцитне, а довгі тренувальні завдання не можна просто перенести, тож справжнє завдання — змінити весь флот, не зірвавши навчання.

Як працює NodeWright

Пакети є Custom Resource-ами Kubernetes, тож розгортаються через kubectl, Helm чи Argo CD. На кожному цільовому вузлі оператор виконує фіксовану послідовність: cordon, очікування pod-ів, які не можна переривати, drain решти, застосування й налаштування пакета, а потім uncordon — із перезапуском сервісу чи вузла лише за потреби.

Пакети можуть налаштовувати параметри sysctl і GRUB, встановлювати агентів безпеки та виправляти CVE. NodeWright відстежує версію кожного пакета на кожному вузлі й визначає порядок виконання за залежностями; CVE-пакет може виявити досі завантажений вразливий модуль ядра і позначити себе як невдалий.

Безпечні розгортання на масштабі

Ресурс DeploymentPolicy визначає компартменти — групи вузлів за мітками з власними бюджетами переривання та стратегіями: фіксовані розміри пакетів, лінійне зростання (1, 2, 3…) та експоненційне зростання (1, 2, 4, 8…). Поріг пакета задає потрібний відсоток успіху для просування, а поріг невдач зупиняє компартмент після повторних збоїв.

Якщо щось пішло не так, оновлення зупиняється, а не поширюється далі: помилки видно у статусі, невдалі Job-и позначено, а вузли отримують мітки для діагностики. Нові вузли можна змусити приєднуватися з taint-ом, який знімається лише після всіх пакетів і перевірок.

Екосистема та доступність

NodeWright інтегрується з NVIDIA AI Cluster Runtime (AICR), який публікує рецепти перевірених конфігурацій як готові бандли для Helm, Argo CD чи Flux, і працює разом із NVCRE та NVSentinel. Ліцензований за Apache 2.0, він встановлюється через Helm з OCI-артефакту; tuning-пакети охоплюють GPU Hopper і Blackwell, вузли Google Kubernetes Engine та кластери Amazon EKS з драйверами EFA.