Janas-LLM-ը հաղթում է llama.cpp-ին 13 մոդելի վրա, 32 GB RAM-ով լեպտոպում մեծ LLM-ներ է գործարկում

Կատարման արդյունքներ

Janas-LLM-ը Qwen3-Next-80B-ով, 48 GB մոդելով, միայն 32 GB օպերատիվ հիշողությամբ լեպտոպում գրելիս հասցել է վայրկյանը 37 տոկենի: Նույնիսկ սպեկուլյատիվ նախածննդերից հետո շարժիչը վայրկյանը 24 տոկեն է արտածում, երբ llama.cpp-ը նույն սարքային վայրկյանը հասել է միայն 2,8 տոկենի: Հարցման ընթերցումը վայրկյանը 62 տոկեն է հասնում, ինչը llama.cpp-ի 16-ի համեմատ շատ ավելի արագ է: Q4_K_M-ով կվանտիզացված 13 մոդելի վրա Janas-LLM-ը ավելի արագ է ինչպես ընթերցման, այնպես էլ գրելի ժամանակ:

Սարքային ապահովում և ծրագրային միջավայր

Թեստավորումները կատարվել են Debian 13 (trixie)-ում, 6.12.107 միջուկով, Mesa 26.1.6 Vulkan դրայվերով, GCC 14.2-ով, Intel Core Ultra 9 185H պրոցեսորով (6 արտադրական, 8 էներգաարդյունավետ և 2 ցածր էներգոտնակության միջուկ), 32 GB DDR5 հիշողությամբ և 1 TB NVMe SSD-ով, որը հաջորդական ընթերցման ժամանակ ունի մոտավորապես 5,7 GB/s արագություն: Նույն մեքենան Windows 11-ում ցուցադրել է համեմատելի գրելու արագություն և dense մոդելների համար՝ 1,8 անգամ ավելի արագ հարցման ընթերցում, երբ օգտագործվել է ինտեգրված Arc GPU Intel-ի Windows դրայվերով:

Մոդելների աջակցություն և կիրառում

Janas-LLM-ը յուրացած տոկենի համար անհրաժեշտ փորձագետները հոսքայնորեն փոխանցում է NVMe սկավառակից և հաճախ օգտագործվող փորձագետները պահում է հիշողության քեշում: Սա հնարավորություն է տալիս ֆիզիկական RAM-ից մեծ մոդելների աշխատելուն՝ ներառյալ mixture-of-experts տիպի մոդելները, ինչպիսիք են Qwen3-30B-A3B, Qwen3-6-35B-A3B և Qwen3-Next-80B-A3B, ինչպես նաև Gemma 4-ի ընտանիքի dense մոդելները: Նախագիծը առաջարկում է չաթի բինար, OpenAI API-ի հետ համատեղելի HTTP սերվեր, MCP սերվեր գործիքների օգտագործման համար և կոդի ավարտի ենդպոինթ խմբագրի համար: Բոլոր բաղադրիչները գրված են մաքուր C-ով, արտաքին կախվածություններից զերծ, բացի C գրադարանից և ըստ ցանկության Vulkan-ից՝ GPU արագացման համար:

Աղբյուրներ: GitHub