10 yaşlı Xeon kifayət edir

Bunu işlətməməli olan avadanlıq

Kristina Emiliye Syorensenin Gemma 4-ün MTP draftorları barədə üçüncü yazısı nəticəni, bunu bacarmamalı olan təkrar emal edilmiş serverdə işlətməyi araşdırır. Maşında 128 GB RAM var, amma DDR3 — bu gün ən yaxşı noutbuk yaddaşından beş-altı dəfə yavaş. Prosessor 2016-cı ilin tək Intel Xeon E5-2620 v4-üdür: 8 fiziki nüvə, 16 axın, yalnız AVX2 — AVX-512 və BF16 yox — 20 MiB L3 və 2 MiB L2 keş, GPU isə ümumiyyətlə yoxdur. ollama və standart llama.cpp kifayət qədər "düymə" təqdim etmir, ona görə həll ik_llama.cpp fork-u və 25 bayraqlı əmr sətridir. CPU-da generasiya yaddaş buraxılış qabiliyyəti ilə məhdudlaşır: prosessor matris hesablamalarını bitirir, sonra çəkilərin RAM-dan keşə köçürülməsini gözləyir.

CPU-da spekulyativ dekodlaşdırma və MoE marşrutlaşdırması

Gemma 4 26B-A4B ekspertlər qarışığı modelidir: 128 ekspert, hər token üçün 8 aktiv, yəni təxminən 25,2 milyard parametrin içində 3,8 milyard aktiv parametr. --spec-type mtp, --draft-max 3, --draft-p-min 0.0 və --spec-autotune bayraqları 26 milyardlıq verifikatoru kiçik MTP draftoru ilə birləşdirir və qaralama üçün üçə qədər token götürür. Syorensenə görə spekulyativ dekodlaşdırma CPU-da GPU-dan daha çox qazandırır: verifikatorun çəkilərini keşdən keçirmə xərcinə nisbətən CPU dövrləri ucuzdur və draftorun iş dəsti L3-ə sığır. --cpu-moe ekspert marşrutlaşdırmasını CPU keş iyerarxiyasına uyğunlaşdırır ki, 128 ekspert arasında keçidlər keşi boğmasın; --merge-up-gate-experts isə ekspert başına iki proyeksiyanı bir matmulda birləşdirir (loglarda fused_up_gate = 1). Axın sayı, -t 8, 16 SMT axını yerinə fiziki nüvələrə uyğun gəlir, çünki yaddaşla məhdud yükdə artıq axınlar yalnız planlama xərci əlavə edir.

Bərkitmə, yenidən paketləmə və sükutla uğursuz olan bayraqlar

--mlock nüvədən ~27 GB çəkini fiziki RAM-da saxlamağı xahiş edir və standart olaraq bu sorğu uğursuz olur: "failed to mlock 27628376064-byte buffer ... Try increasing RLIMIT_MEMLOCK". Bayraq düzgündür, memlock həddi deyil; qara qutu alətləri bu optimizasiyanı heç xahiş etmir və modeli diskə köçürülməyə buraxır. --run-time-repack çəki matrislərini inferensdən əvvəl CPU keş düzümünə uyğun olaraq yenidən sıralayır (loglar: 265 tensor yenidən paketləndi), --no-kv-offload isə KV keşi üçün GPU axtarışını qısa qapanır. Qraf bölmə bayrağı MTP ilə üzləşməyə dözmür: mühərrik "Split mode 'graph' is not supported for Gemma4 external MTP => changing split mode to 'layer'" bildirir və ardıcıl qat bölməsinə keçir.

CPU-da Flash Attention və yaddaş hesabı

ik_llama.cpp-nin müəllifi ikawrakow Flash Attention üçün xüsusi CPU nüvələri yazdı: o, diqqət softmax-ını matmul-larla birləşdirir, beləliklə N×N matris heç vaxt RAM-a yazılmır — əvvəlcə GPU üçün hazırlanmış optimizasiya. --mla-use 3 KV keşi daha kiçik latent təsvirə sıxan Multi-Head Latent Attention-ı işə salır. İkisi də tutdu: flash_attn = 1, fused_moe = 1, fused_up_gate = 1. Yekun hesab 82.355 MiB-dir — tam 262K kontekstdə təxminən 25 GB çəki və 56 GB KV keşi; keş modelin özündən böyükdür. Syorensenin nəticəsi: yerli açıq modellərin qarşısındakı maneə silisium deyil — inferens mühərrikini dərindən anlamaq lazımdır.