DeepSeek-ը բաց կոդով հրապարակում է DeepInfer ինֆերենս շրջանակը V4.1-Flash-ի համար

DeepInfer-ն այժմ բաց կոդով է

DeepSeek-ը հայտնել է, որ բաց կոդով է հրապարակում DeepInfer-ը, իր մեծածավալ արտադրական ծառայությունները սնուցող ինֆերենս շրջանակը: Ծրագրի պահոցը հայտնում է, որ թողարկումը աջակցում է DeepSeek-V4.1-Flash-ին և աշխատում է Nvidia SM100 GPU-ներում ու Huawei Ascend 950 NPU-ներում: DeepSeek-ը նախատեսում է ավելացնել աջակցություն ապագա համակարգերի համար, ըստ Bloomberg-ի:

DeepSeek-ը X-ում գրել է, որ կիսվում է իր արտադրական ստեկով, որպեսզի համայնքին օգնի իջեցնել հաշվարկային ծախսերը, կրճատել էներգիայի սպառումը և AI-ն ավելի մատչելի դարձնի: Ընկերության գլխամասնային գրասենյակը գտնվում է Հանժուում:

Ինչ է ներառում շրջանակը

DeepInfer-ը ներառում է օպտիմալացված կերնելներ և պարալելիզմի մեթոդներ attention-ի և mixture-of-experts շերտերի համար: Այն նաև ապահովում է ապակոդավորման մեթոդ, որը սևագրային թոքենների և վստահության գնահատումների օգտագործմամբ պլանավորում է ստուգումը, ինչպես նաև ասինխրոն պլանավորում, որը CPU-ի փաթեթային պլանավորումը մասամբ համընկնում է սարքի կատարման հետ:

Թողարկումը նաև ընդգրկում է փաթեթից անկախ ինֆերենսը, դետերմինիստական սեմփլինգը և կառուցվածքային արդյունքները: Փաթեթից անկախ ինֆերենսը և դետերմինիստական սեմփլինգը աշխատում են միայն Nvidia սարքակազմում: Կերնելների ցանկում կան հատուկ TileLang կերնելներ, և այն ընդգրկում է Huawei Ascend 950 չիպերը:

Տեղակայման սահմանաչափերը և պահանջները

Թողարկումը ապահովում է օֆլայն ինֆերենս և բաց թողնում է ինֆերենս ծառայության որոշ բաղադրիչները: DeepSeek-ը հայտնել է, որ օգտատերերը պետք է ապահովեն KV cache համակարգ, prefill-ի և decode-ի առանձնացում, ինչպես նաև բեռի հավասարակշռումը տվյալների զուգահեռ ռեպլիկաների միջև՝ թե՛ prefill-ի, թե՛ decode-ի համար:

DeepInfer-ը պահանջում է Linux, GCC 13.0 կամ ավելի ուշ տարբերակ և Python 3.12, ինչպես նաև CUDA 13՝ Nvidia սարքակազմում, կամ CANN 9.2՝ Ascend-ում: Այն թողարկվում է Apache License 2.0-ի ներքո: DeepSeek-ը հայտնել է, որ շրջանակը սկզբնապես հիմնականում կառուցվել է vLLM-ի վրա, լրացուցիչ ոգեշնչմամբ SGLang-ից և TensorRT-LLM-ից:

Ինչու է կարևոր թողարկումը

Bloomberg-ը հայտնել է, որ թողարկումը բացահայտում է այն մեթոդները, որոնք DeepSeek-ը օգտագործում է՝ իջեցնելու զարգացած AI-ի ինֆերենսի ծախսերը, իսկ այդ տեխնիկան AI ընկերությունները սովորաբար պահպանում են գաղտնի: Ընկերությունները, որոնք հյուրընկալում են կամ գործարկում են DeepSeek մոդելները ամպում, կարող են կիրառել մեթոդները իրենց սեփական համակարգերում, և Bloomberg-ը հայտնել է, որ տվյալ մոդելի սպասարկման գինը կարող է զգալիորեն տարբեր լինել՝ ըստ սպասարկման ծրագրի:

Դրսի ոչ մի կողմ դեռ չի չափել DeepInfer-ի արդյունավետության ավելացումները, ըստ Bloomberg-ի: Շրջանակը վերաբերում է DeepSeek-ի սեփական մոդելներին, սակայն դրսի մշակողները կարող են կարդալ կոդը և օգտագործել դրա տեխնիկան իրենց սեփական համակարգերում: Անցյալ ամիս DeepSeek-ը հայտնել է համագործակցության մասին Huawei-ի հետ՝ Ascend չիպերի համար ծրագրավորման գործիքներ ստեղծելու նպատակով, և բաց կոդով հրապարակել է վեց ծրագրային մոդուլ այդ հարթակի համար, այդ թվում՝ TileLang-ի տարբերակը, որը հարմարեցվել է Ascend 950-ի համար:

Աղբյուրներ: Quartz · GitHub · Bloomberg · Techmeme