NVIDIA ModelExpress — AI Մոդելների Տարածումը Լույսի Արագությամբ GPU Կլաստերներում

NVIDIA ModelExpress — Մոդելների Տարածման Նոր Դարաշրջան

AI մոդելների մեծացման հետ մեկտեղ, դրանց կշիռների արդյունավետ տարածումը դառնում է ավելի կարևոր: NVIDIA-ն ներկայացնում է ModelExpress (MX)՝ GPU կլաստերներում AI մոդելների կշիռների տարածման նոր համակարգ:

Ինչպես է աշխատում ModelExpress-ը

Երբ սպասարկող peer-ն արդեն ունի համատեղելի կշիռներ GPU-ում, MX-ը դրանք փոխանցում է GPU-ից GPU P2P RDMA-ով: MX-ը DeepSeek-V4 Pro կշիռները փոխանցում է 10 վայրկյանից քիչ ժամանակում (8 րոպեի փոխարեն):