SiTech Team⏱️ 1 წთ. საკითხავი
NVIDIA ModelExpress — AI Modellerinin Işık Hızıyla GPU Kümelerinde Dağıtımı
NVIDIA, ModelExpress'i tanıttı — AI model ağırlıklarını P2P RDMA ile GPU'dan GPU'ya aktaran bir sistem.
NVIDIA ModelExpress — Model Dağıtımında Yeni Bir Çağ
AI modelleri büyüdükçe, ağırlıklarının verimli şekilde dağıtılması daha kritik hale geliyor. DeepSeek-V4 Pro gibi modeller yüzlerce gigabayt yer kaplıyor. NVIDIA, ModelExpress (MX) ile GPU kümelerinde AI modellerinin ağırlıklarının dağıtımını kökten değiştiriyor.
ModelExpress Nasıl Çalışır
Bir servis peer'ı GPU'da uyumlu ağırlıklara sahip olduğunda, MX bunları doğrudan GPU'dan GPU'ya P2P RDMA ile aktarır. MX, DeepSeek-V4 Pro ağırlıklarını 10 saniyeden kısa sürede aktarır (8 dakika yerine).