SiTech Team⏱️ 1 წთ. საკითხავი
NVIDIA ModelExpress — розповсюдження AI-моделей зі швидкістю світла на GPU-кластерах
NVIDIA представила ModelExpress — систему, яка передає ваги AI-моделей безпосередньо між GPU через P2P RDMA.
NVIDIA ModelExpress — нова ера розповсюдження моделей
Зі зростанням розмірів AI-моделей ефективне розповсюдження їхніх ваг стає дедалі критичнішим. Такі моделі, як DeepSeek-V4 Pro, займають сотні гігабайтів. NVIDIA представила ModelExpress (MX) — нову систему, яка кардинально змінює підхід до розповсюдження ваг AI-моделей на GPU-кластерах.
Як працює ModelExpress
Коли serving-peer вже має сумісні ваги в GPU, MX передає їх безпосередньо з GPU на GPU через P2P RDMA. MX передає ваги DeepSeek-V4 Pro менш ніж за 10 секунд (порівняно з 8 хвилинами).
Поділитися цифровим досвідом