Qwenputer Qwen3.5 çəkilərinə RISC-V CPU yerləşdirir

Qwenputer stok Qwen 3.5 4B modelinin çəkilərinə kompilyasiya edilmiş RISC-V CPU olan bir modeldir. CPU modelin Gated DeltaNet attention qatlarını dəqiq RAM kimi istifadə edir və xarici alətlər və ya iş vaxtı mühitləri olmadan forward keçidləri zamanı arifmetika, C və MicroPython kodunu işlədir. Bu plagin, alət və ya sandbox deyil.

Gated DeltaNet RAM-ə çevrilir

Qwen3.5-də dörd attention qatından üçü Gated DeltaNet istifadə edir; bu, xətti RNN-dir. Hər baş bir vəziyyət matrisi saxlayır və delta qaydası onu yeniləyir. Gate 1-ə, yazma gücü beta 1-ə təyin edilərək və one-hot açar kodlaması istifadə edilərək, yazmalar bir sətri əvəz edir, sorğular isə dəqiq dəyər qaytarır. Bu, GDN qatlarını RAM kimi işlədir və vəziyyət ölçüsü söhbət uzunluğu ilə artmır. Schlag et al. (2021) delta qaydası ilə xətti attention-ın assosiativ yaddaş kimi işləyə biləcəyini göstərdi; Qwenputer onu istehsal modelinin içində dəqiq və ünvanlana bilən edir.

Modelin içində CPU

CPU RV32IM, Zba genişləndirməsi və kiçik bignum vahidi olan 32-bit RISC-V nüvəsidir. O, Qwen-in 32 qatından əvvəl 11 qat tutur, rəsmi riscv-tests-dən keçir, qemu ilə uyğun gəlir və 18 milyon instruksiyanı səhv olmadan azad işləmədə işlətdi. Həmçinin C və MicroPython işlədir, bir qədər yavaş olsa da, və tam RV32IM instruksiya dəstini tətbiq edir. Qwen 3.5 4B onu post-training olmadan istifadə edir; xarici alət çağırışları yerinə daxili olaraq: Qwen alət çağırışına bənzər formatda instruksiya göndərir və cavabları oxuyur. Hər instruksiya ADDR, VAL və STEP adlı bir neçə yaradılmış tokenə çevrilir, RvChat firmware-i GDN vəziyyətinə yükləyir və iz tokenlərini Qwen qatlarından kənarda saxlayır. Qwen-in orijinal çəkiləri dəyişməz qalır, kompüter çəkiləri əlavə ölçülər və qatlara əlavə edilir.

Dəqiqlik və normal mətn

DeepMind arifmetika dəstlərində Qwenputer div_big üzrə 97.5%, mul_big üzrə 97.5%, mul_div_multiple_longer üzrə 100% və add_or_sub_big üzrə 97.5% nəticə göstərdi. Python aləti ilə Qwen bu dəstlərdə müvafiq olaraq 95%, 100%, 97.5% və 97.5% nəticə göstərdi, baza Qwen isə 72.5%, 55%, 90% və 87.5% nəticə göstərdi. NUPA uzun tam ədəd arifmetikasında Qwenputer 48.6%-dən 100%-ə yüksəldi və Python aləti ilə uyğunlaşdı. Təxminən 230,000 təkrar işlənmiş çıxış mövqeyi referans maşınla sıfır uyğunsuzluqla uyğunlaşdı. Normal mətn baza Qwen-in səs-küyündən kənara çıxmadı; KL dəyəri 6e-4, səs-küy həddi isə 5e-4 oldu.

Eksperimental fayl sistemi və məhdudiyyətlər

Eksperimental fayl sistemi daxili put, append, get, list və delete əməliyyatlarını açıq edir. Fayl adları DeltaNet kataloqunda 1,024 slotdan birinə hash olunur, mətn digər başlıqlarda səkkiz tokenlik sətirlərlə saxlanılır və hər sətir zəncirlənir, toqquşmalar növbəti slotu yoxlayır. O, 512 fayla, təxminən 53,000 token mətnə qədər yerləşdirir və saxlanmış vəziyyət söhbətlər arasında faylları daşıya bilər. Qwen dəyişdirilmiş faktları 90% hallarda düzgün tapır, halbuki köhnə söhbətləri yapışdıranda bu 30% olur və Python yaddaş alətləri ilə müqayisədə 83.3% qarşı 78.9% səviyyəsindədir. Məhdudiyyətlərə 18.8 GB checkpoint, RvChat driver zəruriliyi və L4 üzərində saniyədə təxminən 3,200 CPU token sürəti daxildir. Model tək 24 GB GPU üzərində işləyir, kod GitHub-da, modellər isə Hugging Face və ModelScope-da yerləşir.

Mənbələr: divagr.com