NVIDIA ModelExpress — AI Modellərinin İşıq Sürəti ilə GPU Klasterlərində Paylanması

NVIDIA ModelExpress — Modellərin Paylanmasında Yeni Era

AI modelləri böyüdükcə, onların çəkilərinin səmərəli paylanması daha kritik olur. NVIDIA ModelExpress (MX) təqdim edir — GPU klasterlərində AI modellərinin çəkilərinin paylanmasına yanaşmanı köklü şəkildə dəyişən yeni sistem. Əsas fikir sadədir: modeli yükləməzdən əvvəl, onun uyğun surətinin artıq harada olduğunu soruşun.

ModelExpress Necə İşləyir

Xidmət göstərən peer artıq GPU-da uyğun çəkilər saxladıqda, MX onları P2P RDMA vasitəsilə birbaşa GPU-dan GPU-ya köçürür. MX DeepSeek-V4 Pro çəkilərini 10 saniyədən az müddətdə köçürür (8 dəqiqə əvəzinə).