تغلّب Janas-LLM على llama.cpp في 13 نموذجاً، يشغّل نماذج لغوية كبيرة على حاسوب محمول بذاكرة 32 GB

نتائج الأداء

حقق Janas-LLM باستخدام نموذج Qwen3-Next-80B بحجم 48 GB، على حاسوب محمول يملك 32 GB فقط من الذاكرة العشوائية، سرعة 37 رمزاً في الثانية عند الكتابة. وحتى بدون الاستدلالات التكهنية، أصدر المحرك 24 رمزاً في الثانية، بينما حقق llama.cpp على نفس الجهاز 2,8 رمزاً فقط في الثانية. وبلغت قراءة المطالبة 62 رمزاً في الثانية، مقابل 16 رمزاً لـ llama.cpp. وكان Janas-LLM أسرع في 13 نموذجاً مكمّاساً حتى Q4_K_M، سواء في وقت القراءة أو الكتابة.

العتاد والبيئة البرمجية

أجريت الاختبارات المرجعية على نظام Debian 13 (trixie)، مع نواة 6.12.107، ومُشغّل Vulkan من Mesa 26.1.6، ومترجم GCC 14.2، ومعالج Intel Core Ultra 9 185H (6 أنوية أداء، 8 أنوية كفاءة، و2 نواة منخفضة الطاقة)، وذاكرة DDR5 بسعة 32 GB وقرص NVMe SSD بسعة 1 TB تبلغ سرعة القراءة المتسلسل فيه حوالي 5,7 GB/s. وأظهرت نفس الآلة على Windows 11 سرعة كتابة مقارنة وقراءة مطالبات أسرع حتى 1,8 مرة للنماذج الكثيفة، عند استخدام وحدة معالجة الرسوم المدمجة Arc GPU مع مُشغّل Windows من Intel.

دعم النماذج والاستخدام

يُبثّ Janas-LLM الخبراء المطلوبين لكل رمز تدريجياً من قرص NVMe ويحفظ الخبراء الأكثر تكراراً في ذاكرة التخزين المؤقت. هذا يتيح العمل بنماذج أكبر من ذاكرة الوصول العشوائي الفيزيائية، بما في ذلك نماذج خليط الخبراء، مثل Qwen3-30B-A3B و Qwen3-6-35B-A3B و Qwen3-Next-80B-A3B، بالإضافة إلى نماذج dense من عائلة Gemma 4. يقدم المشروع ملف تنفيذي للمحادثة، وخادم HTTP متوافق مع OpenAI API، وخادم MCP لاستخدام الأدوات، ونقطة نهاية لإكمال الشيفرة للمحررات. كُتبت جميع المكونات بلغة C نقية، دون اعتماديات خارجية، باستثناء مكتبة C و Vulkan الاختياري لتسريع وحدة معالجة الرسوم.

المصادر: GitHub