NVIDIA CUDA 13.5 виходить у GA з підтримкою Vera Rubin і новими можливостями для розробників

NVIDIA випустила CUDA Toolkit 13.5 для загального доступу, забезпечивши production-ready підтримку архітектури GPU NVIDIA Vera Rubin. Випуск також розширює підтримку Windows on Arm для NVIDIA DGX Station for Windows і додає оновлення планування, комунікації, бібліотек і інструментів для розробників.

Оновлення планування і MPS

CUDA 13.5 додає покращення доменів локальності, які дозволяють застосункам обирати між однорідними розділами стрімінгових мультипроцесорів або розділами, що містять усі доступні SM. Прапорець cudaDevSmResourceGroupLocalityDomainSupplementalSms у поєднанні з cudaDevSmResourceGroupLocalityDomainId включає додаткові SM у вибраних доменах, а API cudaDevSmResourceSplit може визначити кількість SM у кожному розділі.

NVIDIA Multi-Process Service v3 вводить weighted timeslicing, балансування навантаження розділів SM із позичанням і наданням у позику, маршрутизацію на основі cgroup, призначення розділів SM за просторами імен і резервний варіант обліку пам'яті на основі опитування. Ці можливості дають більший контроль над тим, як навантаження спільно використовують GPU.

CUDA Tile і CUDA Python

CUDA Tile отримує комунікацію між кількома GPU з unicast- і multicast-вказівниками на фабриках NVLink і NVSwitch. Публічний попередній перегляд взаємодії SIMT дозволяє ядрам Tile викликати функції пристрою з бібліотек, таких як NVSHMEM, CCCL Coop, Warp і MathDx, забезпечуючи комунікацію і обчислення всередині ядра.

CUDA Python cuda.core 1.2 додає пакетне копіювання пам'яті через copy_batch, Programmatic Dependent Launch через LaunchConfig і гнучкіше оновлення CUDA Graph без повторного створення екземпляра. Ці зміни розширюють доступ до програмування CUDA у стилі Python.

CCCL і інструменти для розробників

CCCL 3.5 надає публічні API налаштування для CUB, відтворювані сканування з рухомою комою, пакетний вибір Top-K, інтегрований у FlashInfer, і залежні від даних редукції, що споживають кількість елементів з пам'яті пристрою за допомогою cuda::args::deferred. Випуск також включає публічний попередній перегляд NVIDIA Nsight Perf SDK for AI, сторінку хронології у NVIDIA Nsight Compute і підтримку CUDA-GDB для зупинки на подіях журналу CUDA Driver.

Основні математичні бібліотеки CUDA отримують покращення продуктивності на Vera Rubin, зокрема швидші GEMM і нові можливості cuBLAS і cuSPARSE. Оновлення також додає зміни компілятора і режимів драйвера Windows, причому WDDM і MCDM підтримуються на Rubin і пізніших GPU, а TCC не підтримується.

Джерела: NVIDIA Developer Blog