Janas-LLM, 32 GB RAM'li laptop'ta 13 modelde llama.cpp'yı geçerek büyük LLM'ler çalıştırıyor

Performans Sonuçları

Janas-LLM, Qwen3-Next-80B ile, 48 GB model ile, yalnızca 32 GB RAM'e sahip bir laptop'ta yazma sırasında saniyede 37 token hızına ulaştı. Spekülatif tahminler olmadan bile motor saniyede 24 token üretirken, llama.cpp aynı donanımda saniyede yalnızca 2,8 token başarabildi. İstemi okuma hızı saniyede 62 token'a ulaşıyor, llama.cpp'nın 16 token'ına karşılık geliyor. Q4_K_M'a kadar kuantize edilmiş 13 modelde Janas-LLM hem okuma hem de yazma sürelerinde daha hızlıydı.

Donanım ve Yazılım Ortamı

Benchmark'lar Debian 13 (trixie) üzerinde, 6.12.107 çekirdek sürümü, Mesa 26.1.6 Vulkan sürücüsü, GCC 14.2, Intel Core Ultra 9 185H işlemci (6 performans, 8 verimlilik ve 2 düşük güç tüketimli çekirdek), 32 GB DDR5 bellek ve sıralı okuma hızı yaklaşık 5,7 GB/s olan 1 TB NVMe SSD ile gerçekleştirildi. Aynı makine Windows 11 üzerinde karşılaştırılabilir yazma hızı ve yoğun modeller için entegre Arc GPU ile Intel Windows sürücüsü kullanıldığında 1,8 kata kadar daha hızlı istek okuması gösterdi.

Model Desteği ve Kullanım

Janas-LLM, her token için gerekli uzmanları NVMe diskinden paralel olarak aktarır ve sık kullanılan uzmanları bellek önbelleğinde saklar. Bu, fiziksel RAM'den büyük modellerin çalışmasını sağlar, aralarında Qwen3-30B-A3B, Qwen3-6-35B-A3B ve Qwen3-Next-80B-A3B gibi mixture-of-experts tipi modellerin yanı sıra Gemma 4 ailesinin yoğun modelleri de bulunmaktadır. Proje sohbet binary'si, OpenAI API ile uyumlu HTTP sunucusu, araç kullanımı için MCP sunucusu ve editörler için kod tamamlama sunucusu sunar. Tüm bileşenler saf C ile yazılmıştır, C kütüphanesi ve isteğe bağlı olarak GPU hızlandırma için Vulkan dışında harici bağımlılık yoktur.

Kaynaklar: GitHub