Janas-LLM 13 modeldə llama.cpp-ni məğlub edir, 32 GB RAM olan noutbukda böyük LLM-ləri işə salır

İcra nəticələri

Janas-LLM Qwen3-Next-80B modeli ilə, 48 GB model ilə, yalnız 32 GB operativ yaddaşı olan noutbukda yazma zamanı saniyədə 37 tokenə çatdı. Spekulyativ ləvazimatlar olmasa belə, mühərrik saniyədə 24 token verirdi, halbuki llama.cpp eyni avadanlıqda saniyədə yalnız 2,8 tokenə nail oldu. Prompt-un emalı saniyədə 62 tokenə çatırdı, llama.cpp-nin 16 tokenlik nəticəsinə nisbətən. Q4_K_M qədər kvantlaşdırılmış 13 modeldə Janas-LLM həm oxuma, həm yazma zamanı daha sürətli idi.

Avadanlıq və proqram mühiti

Benchmarklar Debian 13 (trixie) üzərində, 6.12.107 nömrəli nüvə ilə, Mesa 26.1.6 Vulkan drayveri ilə, GCC 14.2 ilə, Intel Core Ultra 9 185H prosessoru ilə (6 performans, 8 enerjiyənaət və 2 aşağı enerji istehlakı nüvə), 32 GB DDR5 yaddaş və təxmini 5,7 GB/s ardıcıl oxuma sürətinə malik 1 TB NVMe SSD ilə aparıldı. Eyni maşın Windows 11 üzərində müqaisə olunan yazma sürəti və dense modellər üçün 1,8 qədər daha sürətli prompt emalı göstərdi, daxili Arc GPU Intel-in Windows drayveri ilə istifadə olundu.

Modellərin dəstəyi və istifadə

Janas-LLM hər token üçün lazım olan ekspertləri NVMe diskindən paralel yükləyir və tez-tez istifadə olunan ekspertləri yaddaş keşində saxlayir. Bu, fiziki RAM-də böyük modellərin, o cümlədən mixture-of-experts tipində Qwen3-30B-A3B, Qwen3-6-35B-A3B və Qwen3-Next-80B-A3B kimi modellərin, həmçinin Gemma 4 ailəsinin dense modellərinin işləməsinə imkan verir. Layihə söhbət binarı, OpenAI API ilə uyğun HTTP server, alətlərin istifadəsi üçün MCP server və redaktorlar üçün kod tamamlama nöqtəsi təklif edir. Bütün komponentlər xarici asılılıqlar olmadan, C kitabxanası və istəyə bağlı Vulkan GPU sürətləndirməsindən başqa, təmiz C-də yazılıb.

Mənbələr: GitHub