Janas-LLM-მა აჯობა llama.cpp-ს 13 მოდელზე, 32 GB ლეპტოპზე RAM-ზე დიდ LLM-ებს უშვებს

შესრულების შედეგები

Janas-LLM-მა Qwen3-Next-80B-ით, 48 GB მოდელით, მხოლოდ 32 GB ოპერატიული მეხსიერების მქონე ლეპტოპზე წერისას წამში 37 ტოკენს მიაღწია. სპეკულაციური მონახაზების გარეშეც ძრავი წამში 24 ტოკენს გამოსცემდა, მაშინ როცა llama.cpp-მა იმავე აპარატურაზე წამში მხოლოდ 2,8 ტოკენს მოახერხა. პრომპტის კითხვა წამში 62 ტოკენს აღწევდა, llama.cpp-ის 16-ის წინააღმდეგ. Q4_K_M-მდე კვანტიზებულ 13 მოდელზე Janas-LLM უფრო სწრაფი იყო როგორც კითხვის, ისე წერის დროს.

აპარატურა და პროგრამული გარემო

ბენჩმარკები ჩატარდა Debian 13 (trixie)-ზე, ბირთვი 6.12.107-ით, Mesa 26.1.6-ის Vulkan დრაივერით, GCC 14.2-ით, Intel Core Ultra 9 185H პროცესორით (6 მწარმოებლური, 8 ენერგოეფექტური და 2 დაბალი ენერგომოხმარების ბირთვი), 32 GB DDR5 მეხსიერებითა და 1 TB NVMe SSD-ით, რომელსაც მიმდევრობითი კითხვისას დაახლოებით 5,7 GB/s სიჩქარე აქვს. იმავე მანქანამ Windows 11-ზე შედარებადი ჩაწერის სიჩქარე და dense მოდელებისთვის 1,8-ჯერამდე უფრო სწრაფი პრომპტის კითხვა აჩვენა, როცა ინტეგრირებული Arc GPU გამოიყენებოდა Intel-ის Windows დრაივერით.

მოდელების მხარდაჭერა და გამოყენება

Janas-LLM ყოველი ტოკენისთვის საჭირო ექსპერტებს NVMe დისკიდან ნაკადულად გადასცემს და ხშირად გამოყენებულ ექსპერტებს მეხსიერების ქეშში ინახავს. ეს საშუალებას აძლევს ფიზიკურ RAM-ზე დიდ მოდელებს იმუშაონ, მათ შორის mixture-of-experts ტიპის მოდელებს, როგორიცაა Qwen3-30B-A3B, Qwen3-6-35B-A3B და Qwen3-Next-80B-A3B, ასევე Gemma 4-ის ოჯახის dense მოდელებს. პროექტი გვთავაზობს ჩატის ბინარს, OpenAI API-სთან თავსებად HTTP სერვერს, MCP სერვერს ხელსაწყოების გამოყენებისთვის და კოდის დასრულების ენდპოინტს რედაქტორებისთვის. ყველა კომპონენტი დაწერილია სუფთა C-ზე, გარე დამოკიდებულებების გარეშე, გარდა C-ბიბლიოთეკისა და სურვილისამებრ Vulkan-ისა GPU აჩქარებისთვის.

წყაროები: GitHub