DeepSeek V4.1-Flash üçün DeepInfer inferensiya çərçivəsini açıq mənbə kodu olaraq yayımlayır

DeepInfer indi açıq mənbədədir

DeepSeek, DeepInfer-i açıq mənbə kimi yayımladığını bildirib. DeepInfer onun geniş miqyaslı istehsal xidmətlərini təmin edən inferensiya çərçivəsidir. Layihənin repozitoriyasına görə, bu buraxılış DeepSeek-V4.1-Flash-i dəstəkləyir və Nvidia SM100 GPU-larında və Huawei Ascend 950 NPU-larında işləyir. Bloomberg-ə görə, DeepSeek gələcək sistemlər üçün dəstək əlavə etməyi planlaşdırır.

DeepSeek X-də bildirib ki, icmaya hesablama xərclərini azaltmaqda, enerji istehlakını azaltmaqda və süni intellekti daha əlçatan etməkdə kömək etmək məqsədilə istehsal stekini paylaşır. Şirkətin baş qərargahı Hangzhou-da yerləşir.

Çərçivə nə ehtiva edir

DeepInfer diqqət və ekspert qarışımı qatları üçün optimizasiya edilmiş kernellər və paralellik üsullarını ehtiva edir. Həmçinin o, yoxlamanı planlaşdırmaq üçün qaralama tokenləri və etibarlılıq dəyərlərindən istifadə edən dekodlaşdırma üsulu, bundan əlavə CPU paket planlaşdırmasını cihaz icrası ilə üst-üstə gətirən asinxron planlaşdırma təqdim edir.

Buraxılış həmçinin paketdən-asılı-olmayan inferensiya, deterministik nümunələmə və strukturlaşdırılmış çıxışları əhatə edir. Paketdən-asılı-olmayan inferensiya və deterministik nümunələmə yalnız Nvidia aparatında işləyir. Kernellər siyahısına fərdi TileLang kernelləri daxildir və Huawei Ascend 950 çiplərini əhatə edir.

Quraşdırma məhdudiyyətləri və tələblər

Buraxılış oflayn inferensiya təqdim edir və tam inferensiya xidmətinin bəzi hissələrini əhatə etmir. DeepSeek bildirib ki, istifadəçilər KV keş sistemi, prefill və decode ayrışdırması, həmçinin həm prefill, həm də decode üçün data-paralel replikalar arasında yük balansını təmin etməlidir.

DeepInfer Linux, GCC 13.0 və ya daha yeni versiya, Python 3.12, həmçinin Nvidia aparatı üçün CUDA 13 və ya Ascend üçün CANN 9.2 tələb edir. O, Apache License 2.0 altında buraxılıb. DeepSeek bildirib ki, çərçivə ilk növbədə əsasən vLLM üzərində qurulub, əlavə ilham SGLang və TensorRT-LLM-dən gəlib.

Nə üçün bu buraxılış vacibdir

Bloomberg bildirib ki, buraxılış DeepSeek-in qabaqcıl süni intellekt üçün inferensiya xərclərini aşağı saxlamaq üçün asılı olduğu üsulları ortaya çıxarır, süni intellekt şirkətləri bu texnikaları qorumağa meyl edirlər. Buludda DeepSeek modellərini host edən və ya işlədən firmalar bu üsulları özləri tətbiq edə bilər, və Bloomberg-ə görə konkret modelin xidmət qiyməti xidmət edən proqram təminatından asılı olaraq əhəmiyyətli dərəcədə fərqlənə bilər.

Bloomberg-ə görə, heç bir xarici tərəf hələ DeepInfer-in verimlilik qazancını benchmark-test etməyib. Çərçivə DeepSeek-in öz modellərinə tətbiq olunur, lakin xarici developerlər kodu oxuyub texnikaları öz sistemləri üçün götürə bilər. Keçən ay DeepSeek Ascend çipləri üçün proqramlaşdırma alətləri qurmaq məqsədilə Huawei ilə tərəfdaşlıq elan etdi və platforma üçün altı proqram modulunu açıq mənbə yayımladı, bunların içində Ascend 950-yə uyğunlaşdırılmış TileLang versiyası da var.

Mənbələr: Quartz · GitHub · Bloomberg · Techmeme