NVIDIA NVCRE-ni açıq mənbə etdi: GPU klasterləri iş yükündən əvvəl yoxlanılır

Kağız üzərində sağlam, yük altında deyil

GPU klasteri bütün sağlamlıq yoxlamalarından keçib yenə də süni intellekt yükünü yerinə yetirə bilməz: hər GPU, rabitə xətti və pod sağlam göründüyü halda belə 512 GPU-luq öyrətmə işi sürəti itirə bilər. Səbəb bir yavaş GPU, yük altında korlanan xətt və ya trafiki səssizcə daha yavaş yola yönəldən konfiqurasiya ola bilər.

NVIDIA Cluster Readiness Engine (NVCRE) axtarışı konkret qovşaqlara qədər daraldan açıq mənbəli Kubernetes nəzarətçisidir. O, topologiyaya uyğun qruplaşdırılmış qovşaqlarda real paylanmış yüklər işlədir və hər testdə hansı qovşaqların uğursuz olduğunu bildirir; beləliklə hazırlıq ehtimal deyil, təsdiqlənmiş klaster xassəsi olur.

Qatlı API və daxili kataloq

API üç resursdan ibarətdir: Certification yoxlanılacaq qovşaqları və kateqoriyaları təyin edir; hər kateqoriyanı platforma və GPU ayarlarını tətbiq edən və alt Job yaradan Workflow idarə edir; Job isə yükü işlədir, qovşaqların sağlamlığını izləyir və nasazlıqları konkret qovşaqlara aid edir.

Kataloq beş NCCL rabitə variantını, NVIDIA DCGM səviyyə-4 diaqnostikasını və Nemotron 5 modelləri ilə NVIDIA NeMo ilkin öyrətməsini əhatə edir. Uğur meyarları Common Expression Language ilə yazılır və hədəfini tuta bilməyən tamamlanmış iş yenə də uğursuz sayılır.

Nasazlıqların göründüyü miqyasda test

testScale sahəsi qruplaşdırma strategiyasını seçir: intra-node, intra-rack (nvidia.com/gpu.clique etiketi ilə), full-scale və ya diagnose. diagnose rejimində NVCRE uğursuz qrupları bölür və yarılarını yenidən işlədir, bütün qrup əvəzinə bir neçə şübhəli qovşaq adlandırır.

WorkloadRun çoxqovşaqlı işləri konteyner obrazı, framework seçimi (torch, mpi və ya exec) və qovşaq sayı ilə işlədir. spec.gangScheduler ayarı pod-ları KAI Scheduler kimi gang-aware planlaşdırıcıya qoşur və yüklü klasterlərdə kilidlənmənin qarşısını alır.

Aşkar et, təsdiqlə, aradan qaldır

NVCRE NVIDIA DSX OS qatlarından biridir: AICR təsdiqlənmiş konfiqurasiyanı saxlayır və kənara çıxmaları aşkarlayır, NVCRE telemetriyada görünməyən nasazlıqları üzə çıxarmaq üçün yük yaradır, NVSentinel isə DCGM metrikalarını, Xid xətalarını və sistem jurnallarını izləyir.

NVCRE uğursuz qovşaqları və səbəbləri qeyd edir, lakin özü cordon, taint və ya qovşaq şərti dəyişikliyi etmir; NVSentinel-in Certification Monitor-u uğursuz sertifikatlaşdırmanı sağlamlıq hadisəsinə çevirə bilər. Layihə Apache 2.0 lisenziyalıdır və Kubernetes 1.29 və ya daha yenisini, kubectl, Helm 3.x və NVIDIA GPU Operator tələb edir.