Janas-LLM обійшла llama.cpp на 13 моделях і запускає великі LLM на ноутбуці з 32 ГБ RAM

Результати виконання

Janas-LLM із Qwen3-Next-80B, моделлю на 48 ГБ, на ноутбуці лише з 32 ГБ оперативної пам’яті досягла 37 токенів за секунду під час генерації. Навіть без спекулятивних припущень рухій видавав 24 токени за секунду, тоді як llama.cpp на тому самому обладнанні впорався лише з 2,8 токена за секунду. Читання промпту досягало 62 токенів за секунду, на противагу 16 у llama.cpp. На 13 моделях, квантованих до Q4_K_M, Janas-LLM була швидшою як під час читання, так і під час генерації.

Обладнання та програмне середовище

Бенчмарки проводилися на Debian 13 (trixie), ядрі 6.12.107, драйвері Vulkan Mesa 26.1.6, GCC 14.2, процесорі Intel Core Ultra 9 185H (6 продуктивних, 8 енергоефективних і 2 енергозберігаючі ядра), 32 ГБ пам’яті DDR5 та 1 TB NVMe SSD, швидкість послідовного читання якого становить приблизно 5,7 GB/s. Та сама машина на Windows 11 показала порівняну швидкість запису та читання промпту до 1,8 разів швидшу для dense моделей, коли використовувалася вбудована Arc GPU з драйвером Intel для Windows.

Підтримка моделей і використання

Janas-LLM потоково передає експерти, необхідні для кожного токена, з NVMe-диска та кешує часто використовуваних експертів у пам’яті. Це дозволяє запускати великі моделі на фізичної RAM, зокрема моделі типу mixture-of-experts, такі як Qwen3-30B-A3B, Qwen3-6-35B-A3B і Qwen3-Next-80B-A3B, а також dense моделі сімейства Gemma 4. Проєкт пропонує чат-бінарник, HTTP-сервер, сумісний з OpenAI API, MCP-сервер для використання інструментів і кінцеву точку завершення коду для редакторів. Усі компоненти написані на чистому C, без зовнішніх залежностей, крім C-бібліотеки та за бажанням Vulkan для прискорення на GPU.

Джерела: GitHub