Janas-LLM מנצח את llama.cpp ב־13 מודלים ומריץ מודלי LLM גדולים על מחשב נייד עם 32 GB RAM

תוצאות הביצועים

Janas-LLM עם מודל Qwen3-Next-80B בנפח 48 GB הגיע ל־37 טוקנים לשנייה בעת יצירה על מחשב נייד עם רק 32 GB RAM. גם ללא טיוטות ספקולטיביות המנוע פלט 24 טוקנים לשנייה, בעוד ש־llama.cpp על אותה חומרה השיג רק 2,8 טוקנים לשנייה. קריאת הפרומפט הגיעה ל־62 טוקנים לשנייה, לעומת 16 של llama.cpp. ב־13 מודלים שכומרו עד Q4_K_M, Janas-LLM היה מהיר יותר בקריאה וביצירה כאחד.

חומרה וסביבת תוכנה

הבדיקות בוצעו על Debian 13 (trixie), עם ליבה 6.12.107, דרייבר Vulkan של Mesa 26.1.6, GCC 14.2, מעבד Intel Core Ultra 9 185H (6 ליבות ביצוע, 8 ליבות חסכון אנרגיה ו־2 ליבות צריכה נמוכה), זיכרון DDR5 בנפח 32 GB ו־NVMe SSD בנפח 1 TB שמהירות הקריאה הרציפה שלו כ־5,7 GB/s. אותה מכונה הציגה על Windows 11 מהירות יצירה משוות וקריאת פרומפט מהירה יותר בכ־1,8 פעם עבור מודלים dense, כאשר נעשה שימוש ב־Arc GPU המשולב עם דרייבר Windows של Intel.

תמיכה במודלים ושימוש

Janas-LLM טוען במקביל את המומחים הנדרשים לכל טוקן מדיסק NVMe ושומר מומחים בשימוש תכוף במטמון זיכרון. זה מאפשר למודלים גדולים לרוץ מעל זיכרון RAM פיזי, כולל מודלים מסוג mixture-of-experts כמו Qwen3-30B-A3B, Qwen3-6-35B-A3B ו־Qwen3-Next-80B-A3B, וכן מודלים dense ממשפחת Gemma 4. הפרויקט מציע קובץ הפעלה של צ'אט, שרת HTTP תואם OpenAI API, שרת MCP לשימוש בכלים ונקודת קצה להשלמת קוד לעורכים. כל הרכיבים כתובים ב־C נקי, ללא תלויות חיצוניות, למעט ספריית C ו־Vulkan לפי בחירה להאצת GPU.

מקורות: GitHub